java读取大文件时内存溢出问题
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了java读取大文件时内存溢出问题相关的知识，希望对你有一定的参考价值。
我有一个csv文件，大约有80多万条记录，用下面的代码读取时，一般读到70多万条记录时就出现内存溢出问题。求各位好人给出解决方法，感激不尽！！！
public DataCSV(String fileName) throws Exception
File file = new File(fileName);
fis = new BufferedInputStream(new FileInputStream(file));
br = new BufferedReader(new InputStreamReader(fis),3*1024*1024);// 用3M的缓冲读取文件
String stemp;
//跳过第一行
br.readLine();
//循环读取数据
long i=0;
while ((stemp = br.readLine()) != null)
list.add(stemp);
i++;
System.out.println(i);
错误如下：
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Unknown Source)
at java.lang.String.<init>(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at com.zyx.lab2.DataCSV.<init>(DataCSV.java:29)
at com.zyx.lab2.DataCSV.main(DataCSV.java:136)
29行是while循环那一行
把错误log贴出来呗！
你当前jvm设置了参数吗
设置-Xmx4000m
如果小了可以稍微加大 看你内存是否能设那么大追问
由于追问字数限制，错误贴在了问题下面！
29行是while循环那一行，我用的是eclipse运行的程序。问题应该出在list上，似乎加入的记录太多，发生内存溢出。我内存没那么大，稍微调大还是没用（不知道是不是设置方式有问题），请问怎么解决呢？
一次性读这么多数据到内存中处理，不合适，你可以先读1万条或者10万条进去处理，处理完后把list清空再接着读然后处理！
那么多数据全都塞到list里去了 内存肯定会不够的
最高是一次读进来，但也可以逐步读取，请问后者如何操作呢
追答可以都一定次数把list清空吧，比如读50次清一下再读
可以读一定次数把list清空，比如读50次清一下再读
追问上述内存错误是因为list的原因吗？
追答你读的数据不都是放在list里面了吗，而且你只是往里面放，不去定时清空，等它里面的数据过大就容易造成内存溢出了
C# 使用大数组内存溢出的解决办法
以上是关于java读取大文件时内存溢出问题的主要内容，如果未能解决你的问题，请参考以下文章
java 读取大容量文件，内存溢出？怎么按几行读取，读取多次。