正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space

Posted 有梦就能实现

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space相关的知识,希望对你有一定的参考价值。

昨天在项目中需要对日志的查询结果进行导出功能。

 

日志导出功能的实现是这样的,输入查询条件,然后对查询结果进行导出。由于日志数据量比较大。多的时候,有上亿条记录。

 

之前的解决方案都是多次查询,然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。

 

那么能不能一次查询就把所有结果倒出来了?于是我就使用一次查询,不使用limit分页。结果出现 java.lang.OutOfMemoryError: Java heap space问题。

 

看来是DB服务器端将一次将查询到的结果集全部发送到Java端保存在内存中。由于结果集比较大,所以出现OOM问题。

 

首先我想到的是游标功能。那么是不是可以使用游标,一次从服务器端慢慢的取呢?上网查询了一下,大家都说mysql不支持游标功能等等。

 

后来就去看JDBC代码。找到了setFetchSize()方法,结果设置以后,却不能生效,还是出现OOM问题。

我的设置如下

 

[java] view plain copy
 
  1. ps=conn.con.prepareStatement("select * from bigTable");  
  2.  ps.setFetchSize(1000);  



 

 

后来在MySQL看到了这样的方法:

 

[java] view plain copy
 
    1. ps = (PreparedStatement) con.prepareStatement("select * from bigTable",  
    2.                 ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);  
    3.         ps.setFetchSize(Integer.MIN_VALUE);  
    4.         ps.setFetchDirection(ResultSet.FETCH_REVERSE);  

以上是关于正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space的主要内容,如果未能解决你的问题,请参考以下文章

正确使用MySQL JDBC setFetchSize

无法在 ipython 中正确创建 spark 上下文以链接到 MySQL - com.mysql.jdbc.Driver

正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space

使用JDBC连接MySQL数据库

使用JDBC无法正确查询数据库。

Google Apps 脚本/JDBC/MySQL