深度学习 – 在大数据集下，内存容量与磁盘IO速度影响模型训练速度的问题
1 模型训练时出现的问题 内存容量和磁盘IO速度影响GPU利用率，进而影响模型训练速度 如果要想在模型训练时利用GPU，提高GPU的利用率，不受限于IO瓶颈，一般常用的方式是： 数据预加载，将所有数据都预加载到内存中，内存的读写速度很快，从内存传递数据到GPU速度也很快 数据预先离线处理，然后存储在…
- 深度学习
- 2023-03-16
神经网络 – 模型训练需注意的细节与超参数调优
转载自：https://whuhan2013.github.io/blog/2017/03/07/neural-net-deatil/，暂未与博主取得联系，私自转载的，确实对一些常见问题做出了回答，觉得写得很不错，如有侵权，请联系我删除。 1 梯度检查 理论上进行梯度检查很简单，就是简单地把解析梯度…
- 模型训练
- 2021-12-24