蜡炬教育：如何处理机器学习中大型数据的加载问题？

Posted 2021-12-10

原标题:蜡炬教育：如何处理机器学习中大型数据的加载问题？

蜡炬教育老师表示，在处理机器学习算法时，经常会因为数据库太大而导致无法放入内存中，而遇到这样几个问题：当运行数据集算法而导致崩溃时如何解决？当需要处理大容量数据文件时该如何加载？如何方便快捷的解决内存不足的问题？

针对以上问题，蜡炬教育老师给出7个建议：

1.分配更多内存
某些ML工具或数据库默认内存配置不合理，可以看看是否可以手动分配。

2.使用较小样本
确认是否需要处理所有数据？在对最终数据拟合前，使用随机抽取数据样本这个示例即可。

3.使用内存更大的设备
可以租用大内存的服务器，这样可以在物理手段上获取更大的计算能力。

4.更改数据格式
可以通过更改数据格式来加快数据加载并降低内存使用率，比如二进制格式。

5.流数据或使用渐进加载
可以将数据逐步加载到内存中进行使用。

6.使用关联数据库
从内部来看，存储在磁盘上的数据可以逐步加载，并可以使用标准语言（SQL）来进行查询。

7.使用大型数据平台
比如用Mahout机器学习库的Hadoop以及用MLLib库的Spark，它们是为处理非常大的数据集专门设计的平台。

蜡炬教育老师说到，如果遇到数据库太大无法放入内训的相关问题，可以从如上7个方法中寻找解决办法。