[人工智能-深度学习-80]:开发环境 - OSError: [WinError 1455] 页面文件太小,无法完成训练问题的多种解决办法
Posted 文火冰糖的硅基工坊
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[人工智能-深度学习-80]:开发环境 - OSError: [WinError 1455] 页面文件太小,无法完成训练问题的多种解决办法相关的知识,希望对你有一定的参考价值。
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客
本文网址:https://blog.csdn.net/HiWangWenBing/article/details/122387429
目录
办法3: 降低训练时的batch size的大小(部分解决,不确定性)
办法5:增加Windows系统的物理内存 (根本解决,高成本)
前言:
目前在训练模型时,经常出现如下的情况:“OSError: [WinError 1455] 页面文件太小,无法完成操作问题的解决办法”。这导致导致训练无法进行。
错误的认知:
误以为是显卡内存不足造成的,而更好显卡需要一笔大的费用,因此一直都没有用心解决此问题。经过多次出错,发现是乎不是GPU内存的问题,而是Windows内存的问题。
真正的原因:
OSError: [WinError 1455错误显示,这是Windows的虚拟内存不够。
虚拟内存不够的根本原因,是物理内存空间不够,Windows在解决物理内存空间不够大时,采用了通过硬盘空间来扩展物理内存不够的问题。然后,这种方法,默认只针对C盘下的应用程序,不针对D:盘或其他盘的应用程序,而我个人的pytorch程序并运行C盘。
解决问题的办法
办法1:关闭IE浏览器等其他应用程序(部分解决,不确定性)
办法2: 重启机器(部分解决,不确定性)
本质上与关闭IE等其他应用程序是一样的。
办法3: 降低训练时的batch size的大小(部分解决,不确定性)
python train.py --img 640 --batch 1 --epochs 5 --data steelcycle.yaml --weights yolov5s.pt
办法4: 降低dataloader的线程数
python train.py --img 640 --batch 1 --epochs 5 --data steelcycle.yaml --weights yolov5s.pt -- num_works 1
办法5:增加Windows系统的物理内存 (根本解决,高成本)
升级物理内存:16G -> 32G, 彻底解决此问题。
办法6: 为所有硬盘启动(根本解决,低成本)
所有驱动器使用16M虚拟内存,而不仅仅系统盘。
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客
本文网址:https://blog.csdn.net/HiWangWenBing/article/details/122387429
以上是关于[人工智能-深度学习-80]:开发环境 - OSError: [WinError 1455] 页面文件太小,无法完成训练问题的多种解决办法的主要内容,如果未能解决你的问题,请参考以下文章
基于.NET下的人工智能|利用ICSharpCore搭建基于.NET Core的机器学习和深度学习的本地开发环境
[人工智能-深度学习-44]:开发环境 - Anaconda的目录结构与SourceInsight工程
[人工智能-深度学习-42]:开发环境 - Windows如何查看GPU的使用情况
[人工智能-深度学习-79]:开发环境 - 模型结构可视化神器Netron的使用
[人工智能-深度学习-41]:开发环境 - GPU进行训练安装与搭建(PytrochTensorFlowNvidia CUDA)详细过程