Java前提下， MySQL数据库，一次性存储大量数据导致内存溢出

Posted 2023-03-25

如题，在一个工程中我需要一个类，就是把一个表中的某些字段转移到另一个表中，我的类的原理就是查询源表的数据再保存到新的表中，但是运行一段时间后就会出现内存溢出这种错误，程序也就停止了，求教这种问题较好的解决办法是什么？我的思路是把数据分开几部分分别导入，但实现上有些繁琐，旧表有好多个

内存溢出导致程序崩溃，也分是java层崩了，还是mysql崩了。
如果是java层崩了，注意不要一次性加载太多的数据到内存，并且不在使用的数据要彻底放弃引用关系。java虽然是自动回收，回收的原则就是一个对象不再被持有，即引用计数为零。如果数据太大，可考虑临时文件。
如果是mysql崩了，首先增加配置缓存。一般来说mysql是不容易崩的，特别是插入操作的时候。查询的时候如果查询结果记录集特别大，会导致一个查询需要使用很大的内存空间，这种是有问题的。而插入操作都是一条一条的执行，不会导致大内存的使用。

如果仅仅是数据移植，也尽量不要用ORM框架，比如hibernate，mybatis这些东西，因为他们都有自己的缓存，直接使用JDBC比较好。 参考技术A 设置一个计数器，比如1000，每转移一条+1，每次转移到1000条数据，就flush()一下 参考技术B java 有批量导入的方法 你可以尝试下追问

能再具体一点说下么？

参考技术C 一次性查出，用batch提交，每1000行提交一次