java分流读取数据库里的数据到txt，避免数据量太大读不了报内存溢出的错误

Posted 2023-05-01

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了java分流读取数据库里的数据到txt，避免数据量太大读不了报内存溢出的错误相关的知识，希望对你有一定的参考价值。

参考技术A 2个要点要分清楚，是数据库报错，还是JAVA程序。2种对应不同方法。
拿ORACLE来说。判断是数据库报错，可以让DBA调整数据库参数或者调整JDBC参数。
假设是JAVA程序溢出。首先要注意不要一次读取所有记录存到变量中再写入到TXT。
最好根据ORACLE ROWID分页，一次读取100行或者500行再写入。参考技术B //首先判断point是否在curPt和nextPt之间，即：此判断该点是否在该线段的外包矩形内
if (point.lng >= Math.min(curPt.lng, nextPt.lng) && point.lng <= Math.max(curPt.lng, nextPt.lng) &&
point.lat >= Math.min(curPt.lat, nextPt.lat) && point.lat <= Math.max(curPt.lat, nextPt.lat))
//判断点是否在直线上公式
var precision = (curPt.lng - point.lng) * (nextPt.lat - point.lat) -
(nextPt.lng - point.lng) * (curPt.lat - point.lat);
if(precision < 2e-10 && precision > -2e-10)//实质判断是否接近0
return true;

参考技术C 按照抽取的表每条数据的固定数据大小来预算出需要的内存并修改启动参数，
如果服务器硬件性能有限，那么只能根据条数分次查询拆分文件了。参考技术D 写个byte[]数组，做缓冲区，然后嵌套IO流。第5个回答 2016-01-03 只有不全部读进，部分读、处理完、再读另外的。追问

这种方式可以避免因为数据量大而不能一次性读完的情况吧？，有具体代码么？

java中从txt文件读取数据以及写数据到txt文件

package com.baorant;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileWriter;
import java.io.InputStreamReader;
import java.util.ArrayList;

public class FileUtil {

    /*
     * 测试用主函数
     */
    public static void main(String[] args) throws Exception {
        // File file = new File("test.txt");//数组写到文件中
        // int[] datas = {1,2,3,4,5};
        //
        // intDataToFileOut(datas, file);

        // 读取csv文件存到txt文件中
        // int[] recordsTotal;
        //
        // File csv = new File("csv//1203.csv"); // CSV文件路径
        // int[] records0 = GetExcelData.returnFinalArray(csv);
        // File csv1 = new File("csv//1204.csv"); // CSV文件路径
        // int[] records1 = GetExcelData.returnFinalArray(csv1);
        // File csv2 = new File("csv//1205.csv"); // CSV文件路径
        // int[] records2 = GetExcelData.returnFinalArray(csv2);
        // File csv3 = new File("csv//1206.csv"); // CSV文件路径
        // int[] records3 = GetExcelData.returnFinalArray(csv3);
        // File csv4 = new File("csv//1207.csv"); // CSV文件路径
        // int[] records4 = GetExcelData.returnFinalArray(csv4);
        // File csv5 = new File("csv//1208.csv"); // CSV文件路径
        // int[] records5 = GetExcelData.returnFinalArray(csv5);
        // File csv6 = new File("csv//1209.csv"); // CSV文件路径
        // int[] records6 = GetExcelData.returnFinalArray(csv6);
        //
        // recordsTotal = combine_two_intdata(records0,records1);
        // recordsTotal = combine_two_intdata(recordsTotal,records2);
        // recordsTotal = combine_two_intdata(recordsTotal,records3);
        // recordsTotal = combine_two_intdata(recordsTotal,records4);
        // recordsTotal = combine_two_intdata(recordsTotal,records5);
        //
        // for(int i = 0; i < recordsTotal.length; i++){
        // System.out.print(recordsTotal[i] + " ");
        // }
        //
        // File file = new File("trainData.txt");//数组写到文件中
        // intDataToFileOut(recordsTotal, file);
        //
        // File file1 = new File("testData.txt");//数组写到文件中
        // intDataToFileOut(records6, file1);

        //读取file中数据存到数组中
        System.out.println("获取训练数据：");
        String pathname1 = "trainData.txt"; // 绝对路径或相对路径都可以，这里是绝对路径，写入文件时演示相对路径
        File file = new File(pathname1); // 要读取以上路径的input。txt文件
        intFileTOData(1729, file);
        //读取file中数据存到数组中
        System.out.println("获取测试数据：");
        String pathname2 = "trainData.txt"; // 绝对路径或相对路径都可以，这里是绝对路径，写入文件时演示相对路径
        File file2 = new File(pathname2); // 要读取以上路径的input。txt文件
        intFileTOData(1729, file2);

    }

    /*
     * 读取txt中数据存到数组中
     */
    public static int[] intFileTOData(int length, File file) throws Exception {
        /* 读入TXT文件 */
        // String pathname = "trainData.txt"; //
        // 绝对路径或相对路径都可以，这里是绝对路径，写入文件时演示相对路径
        // File filename = new File(pathname); // 要读取以上路径的input。txt文件
        InputStreamReader reader = new InputStreamReader(new FileInputStream(file)); // 建立一个输入流对象reader
        BufferedReader br = new BufferedReader(reader); // 建立一个对象，它把文件内容转成计算机能读懂的语言
        String line = "";
        line = br.readLine();
        int[] datas = new int[1729];
        int i = 0;
        while (line != null) {
            line = br.readLine(); // 一次读入一行数据
            System.out.println(line);
            if (null != line) {
                int tem = Integer.valueOf(line.trim());
                datas[i++] = tem;
            }
        }
        for (int j = 0; j < datas.length; j++) {
            System.out.println(datas[j] + " ");
        }
        return datas;
    }

    /*
     * 数组写到txt文件中
     */
    public static void intDataToFileOut(int[] datas, File file) throws Exception {

        FileWriter out = new FileWriter(file);
        for (int i = 0; i < datas.length; i++) {
            String content = datas[i] + "";
            out.write(content + "	");
            out.write("
");
        }
        out.close();
    }

    /*
     * 连接2个整形数组，得到1个整形数组
     */
    public static int[] combine_two_intdata(int a[], int b[]) {

        ArrayList<Integer> alist = new ArrayList<Integer>(a.length + b.length);

        for (int j = 0; j < a.length; j++) {
            alist.add(a[j]);
        }

        for (int k = 0; k < b.length; k++) {
            alist.add(b[k]);
        }

        int c[] = new int[alist.size()];

        for (int i = 0; i < alist.size(); i++) {
            c[i] = alist.get(i);
        }
        return c;
    }
}

数据格式：

trainData.txt:

package com.baorant;
import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileWriter;import java.io.InputStreamReader;import java.util.ArrayList;
public class FileUtil {
/* * 测试用主函数 */public static void main(String[] args) throws Exception {// File file = new File("test.txt");//数组写到文件中// int[] datas = {1,2,3,4,5};//// intDataToFileOut(datas, file);
// 读取csv文件存到txt文件中// int[] recordsTotal;//// File csv = new File("csv//1203.csv"); // CSV文件路径// int[] records0 = GetExcelData.returnFinalArray(csv);// File csv1 = new File("csv//1204.csv"); // CSV文件路径// int[] records1 = GetExcelData.returnFinalArray(csv1);// File csv2 = new File("csv//1205.csv"); // CSV文件路径// int[] records2 = GetExcelData.returnFinalArray(csv2);// File csv3 = new File("csv//1206.csv"); // CSV文件路径// int[] records3 = GetExcelData.returnFinalArray(csv3);// File csv4 = new File("csv//1207.csv"); // CSV文件路径// int[] records4 = GetExcelData.returnFinalArray(csv4);// File csv5 = new File("csv//1208.csv"); // CSV文件路径// int[] records5 = GetExcelData.returnFinalArray(csv5);// File csv6 = new File("csv//1209.csv"); // CSV文件路径// int[] records6 = GetExcelData.returnFinalArray(csv6);//// recordsTotal = combine_two_intdata(records0,records1);// recordsTotal = combine_two_intdata(recordsTotal,records2);// recordsTotal = combine_two_intdata(recordsTotal,records3);// recordsTotal = combine_two_intdata(recordsTotal,records4);// recordsTotal = combine_two_intdata(recordsTotal,records5);//// for(int i = 0; i < recordsTotal.length; i++){// System.out.print(recordsTotal[i] + " ");// }//// File file = new File("trainData.txt");//数组写到文件中// intDataToFileOut(recordsTotal, file);//// File file1 = new File("testData.txt");//数组写到文件中// intDataToFileOut(records6, file1);
//读取file中数据存到数组中System.out.println("获取训练数据：");String pathname1 = "trainData.txt"; // 绝对路径或相对路径都可以，这里是绝对路径，写入文件时演示相对路径File file = new File(pathname1); // 要读取以上路径的input。txt文件intFileTOData(1729, file);//读取file中数据存到数组中System.out.println("获取测试数据：");String pathname2 = "trainData.txt"; // 绝对路径或相对路径都可以，这里是绝对路径，写入文件时演示相对路径File file2 = new File(pathname2); // 要读取以上路径的input。txt文件intFileTOData(1729, file2);
}
/* * 读取txt中数据存到数组中 */public static int[] intFileTOData(int length, File file) throws Exception {/* 读入TXT文件 */// String pathname = "trainData.txt"; //// 绝对路径或相对路径都可以，这里是绝对路径，写入文件时演示相对路径// File filename = new File(pathname); // 要读取以上路径的input。txt文件InputStreamReader reader = new InputStreamReader(new FileInputStream(file)); // 建立一个输入流对象readerBufferedReader br = new BufferedReader(reader); // 建立一个对象，它把文件内容转成计算机能读懂的语言String line = "";line = br.readLine();int[] datas = new int[1729];int i = 0;while (line != null) {line = br.readLine(); // 一次读入一行数据System.out.println(line);if (null != line) {int tem = Integer.valueOf(line.trim());datas[i++] = tem;}}for (int j = 0; j < datas.length; j++) {System.out.println(datas[j] + " ");}return datas;}
/* * 数组写到txt文件中 */public static void intDataToFileOut(int[] datas, File file) throws Exception {
FileWriter out = new FileWriter(file);for (int i = 0; i < datas.length; i++) {String content = datas[i] + "";out.write(content + " ");out.write(" ");}out.close();}
/* * 连接2个整形数组，得到1个整形数组 */public static int[] combine_two_intdata(int a[], int b[]) {
ArrayList<Integer> alist = new ArrayList<Integer>(a.length + b.length);
for (int j = 0; j < a.length; j++) {alist.add(a[j]);}
for (int k = 0; k < b.length; k++) {alist.add(b[k]);}
int c[] = new int[alist.size()];
for (int i = 0; i < alist.size(); i++) {c[i] = alist.get(i);}return c;}}

以上是关于java分流读取数据库里的数据到txt，避免数据量太大读不了报内存溢出的错误的主要内容，如果未能解决你的问题，请参考以下文章

JAVA读取文件排序写出文件

JAVA读取文件夹里的文件目录到TXT

请问一下怎么用c语言实现读取一个txt文件里的数据要按行读出来

java io怎么读取文件并输出到控制台上?

java中从txt文件读取数据以及写数据到txt文件

如何处理高并发量的HTTP请求