java excel poi 大数据量50W 内存溢出

Posted 2023-03-13

求java的poi导出大数据内存溢出解决方法。。数据量在50W左右。
public void test()

for(int i=0;i<20;i++)
addData();



public void addData()
FileInputStream is

XSSFWorkbook wb
SXSSFWorkbook swb
Sheet sheet1 = swb.getSheet("Sheet0");
for(int i =0;i<1000;i++)

Row row = sheet1.createRow(sheet1.getLastRowNum() + 1);
row.setHeightInPoints((short) 12);row.createCell(0).setCellValue("20120710");
row.createCell(1).setCellValue("23");row.createCell(2).setCellValue("43");
wb.write(os);

50W数库EXCEL打开也有难度，建议导入CSV格式文件，或分多个文件。
关于内存溢出，注意以下几点：
1，分页分批从数据库里查询数据。
2，注意变量的释放，特别是LIST和MAP之类的引用，如果定义成全局变量或静态变量就会很难释放。
3，调大虚拟机内存大小。 参考技术A 首先内存溢出的原因确定是Excel数据过大吗?如果是的话你可以考虑加大内存,或者可以把Excel按照sheet页逐个读取,每个sheet页最大65535条数据这样就避免了内存溢出的问题
假如你封装的读Excel的方法是readExcel(InputStream is)
.....
那么把方法改成readExcel(Sheet sheet)
直接读sheet内容

获取Excel的时候直接按照sheet页循环调用
for(...)
获取sheet页
readExcel(sheet);
执行持久化操作
System.gc();

如果不行的话只能加大内存了,因为可能当问件读到内存中时就已经内存溢出了 参考技术B POI操作Excel还存在一些缺陷，如大文件读取，大文件追加写入的话，会有文件过大引起内存溢出的问题。
如果是往空Excel文件中导入数据，完全可以不用关文件的大小，只要不超过Excel的限制即可：
http://poi.apache.org/spreadsheet/how-to.html#sxssf
我写过几百M的数据
链接上有官方提供的例子。本回答被提问者和网友采纳 参考技术C Workbook workbook = new SXSSFWorkbook(1000);
poi有个机制 每次往内存中写1000条数据，这个1000你可以改的 尽量别大于10000条数据，写完1000条数据后再重新写，这样就不会内存溢出了。 参考技术D excel 最多只能6W 多行 你50W 肯定不行
要不就 每6W行分一个file
要不就用csv文件 这个support追问

2007格式的就可以写到100W啊。

public void test()
for(int i=0;i<20;i++)
addData();




我没有读数据库的数据，就这样存都报溢出。。。。

追答

你是直接JDBC load出来的 还是用了 类似toplink的 工具
如果用了的话 可能是50W数据 直接load死它了 分批load 数据

如果直接JDBC的话： 就分save。一次那么都，估计内存不够