Tensorflow深度学习对遥感图像分类，内存不够怎么办？

Posted 2023-03-08 空中旋转篮球

问题描述

在使用Tensorflow-cpu对图像分类的时候，在预读数据过程中，由于数据量过大，内存不足，导致计算失败。

使用环境：win10系统 Pycharm tensorflow-cpu2.5.0 CPU: i7 8700 内存64G

图1 CPU配置图

图2 内存信息图

使用数据，数据大小大概有100万个像元，相当于一次性预测100万张图，将这些数据同一批次读取内存然后使用训练好的模型进行预测，预测过程中预读数据就过不了，因为内存不够，还差几十个G的空间。

解决办法

对于这个问题解决的办法有几种：

方法一：直接提高内存硬件配置

使用更多的内存条或者更换更高配置的内存条，我的电脑由于主板上只有两个内存条卡槽，而我已经使用了最高的内存条内置（目前能买到的单条最高32G内存条，达到64G），既没办法增加内存条，也没办法增加配置了，想换包含四个内存卡槽的主板，但是咨询了一下不好配置，不然其他很多相应硬件需要更换。有条件的情况下可以使用这种办法进行更新升级。

方法二：修改配置运行环境

首先，如果内存只差一点点的情况下，我们可以尽量关闭其他正在运行的不相关应用程序，尽可能多的释放内存，同时也可以减少其他应用程序的干扰，实际应用过程中，有时候真的就会干扰到深度学习的计算过程导致中断。

此外，我们可以增加虚拟内存空间，使用部分硬盘空间来代替内存

即在方法一不能解决的情况下，我们可以尝试增加虚拟内存的方法。虚拟内存修改方法如下：我的电脑，右键属性，打开高级系统设置配置面板，打开高级选项，性能设置中去设置虚拟内存：

点击高级选项，点击下面的更改按钮，对虚拟内存进行修改，根据自己电脑情况进行设置，一般是内存的1-1.5倍大小，我设置了大约85G。

配置好大小后，点击设置按钮进行设置，然后应用即可，原来win7系统需要重启，最近发现win10不重启也可以生效。

如方法一中的图2就是配置后的效果。

该方法存在问题：会频繁使用使用磁盘，可能会加速磁盘的损坏，所以建议还是少用。还可能修改系统盘的文件，导致某些程序的启动出现问题，这一点还需进一步验证，之前在计算的时候改更改过其他磁盘卷号，还合并过磁盘，所以不确定是否是因为设置过大的虚拟内存引起的。

补充：Tensorflow 2.10.0运行自动分配虚拟内存了

最近新配置并重装了一台电脑，内存只有48G,虚拟内存系统默认配置的，如下图，可以看到大概有5.3G,在计算过程中，发现可用的内存自动提高了，由原来的63.3G变成了116G,先电脑系统磁盘分配了850G,空间够大，如果可用空间不够，估计就不会自动分配了，原来就是可用空间不太多，会中断预测过程。