Pytorch – 训练网络时出现_pickle.UnpicklingError: pickle data was truncated错误
1 Pytorch训练网络时出现_pickle.UnpicklingError: pickle data was truncated错误
今天重新在一个大的数据集上重新训练一个模型时，在第二个epoch时出现了_pickle.UnpicklingError: pickle data was truncated错误，具体的错误信息为：
从报错信息上看，主要出错的代码在从数据集中加载数据的地方
process = tqdm(loader)
for batch_idx, (data, label, index) in enumerate(process):
其中loader为训练数据集对象，process为tqdm包装后的对象，刚刚出现这个错误，实在是看不明白，因为在加载数据并没有使用pickle读取数据。为了排除问题，我重新在一个小的数据集上进行了测试，发现并不会出现上述问题，然后通过仔细观察系统性能指标，发现在epoch0结束之后要开始epoch1的时候内存暴涨，然后就抛出了异常，那么是不是因为数据集加载的数据量过大，导致电脑内存溢出？
我重新修改了训练集的DataLoader对象，将其中的num_workers参数修改为num_workers=0并重新进行了训练，成功运行！然后做了消融实验，将num_workers参数恢复到之前的值，减少batch_size的值，同样是可以成功运行的！
由于目前训练机是Windows系统，看了一下Pytorch的num_workers参数在Windows上设置成不是0值会出现比较多的问题，所以在Windows系统上还是将num_workers参数设置为0，只依靠主进程加载数据，虽然训练速度会减慢（实际上感觉差不多），但是为了避免出现其他问题还是将num_workers参数设置为0。
参考链接
欢迎扫码关注我的微信公众号，及时获取文章更新
本文作者：StubbornHuang
版权声明：本文为站长原创文章，如果转载请注明原文链接！
原文标题：Pytorch – 训练网络时出现_pickle.UnpicklingError: pickle data was truncated错误
原文链接：https://www.stubbornhuang.com/2406/
发布于：2022年11月07日 13:39:37
修改于：2023年06月21日 17:53:11
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
评论
72