java通过CSV文本格式来导出千万级大数据

Posted 2022-05-19 robot_sql

1、由于业务发展，当前页面导出只支持Excel导出数据时间过长已经不能满足系统需要，需要采用导出文本格式的方式来实现业务需求。

JAVA导出文本、mvn打包拒绝访问

NOT all named parameters have been set

java.lang.object无法转换成java.lang.string

2、java导出csv格式方法：

传入参数可以参照自己系统导出Excel的参数

response.setContentType("application/download;charset=UTF-8");
response.setContentType("Content-type:application/vnd.ms-excel;charset=UTF-8");
response.setHeader("Content-disposition","attachment;filename="+java.net.URLEncoder.encode(fileName, "UTF-8"));
outPutStream= response.getOutputStream();

List<HashMap<String,Object>> data = dpservice.getCSVDatalist(tableName, wheresql);

exportResultCSV(data,titleLine.split(","),colmLine.split(","),tableName,outPutStream);

    /**
     * 导出CSV数据方法
     * @param data         list集合
     * @param titleLine    表头字符串
     * @param colmLine     SQL列名,用于对应HashMap格式的key来获取值
     * @param tableName    表名
     * @param outPutStream 输出流
     * @throws IOException
     */
    public exportResultCSV(List<HashMap<String,Object>> data, String[] titleLine, String[] colmLine,String[] tableName, OutPutStream outPutStream) throws IOException
        StringBuffer expStr = new StringBuffer();
        try 
            //csv文件是逗号分隔，除第一个外，每次写入一个单元格数据后需要输入逗号
            for(String title : titleLine)
                expStr.append(title).append(",");
            
            //写完文件头后换行
            expStr.append("\\n");
            //写数据
            for(HashMap<String,Object> map : data)
                //for (String key : map.keySet()) 
                //String val = map.get(key) != null ? map.get(key).toString() : "";
                //expStr.append(val).append(",");
                
                //由于HashMap集合里面存储数据属于无序存储,上面的方法属于直接获取,会导致导出的列错位,如下写法规避
                for (int j=0,j<colmLine.length;j++) 
                    String val = map.get(colmLine[j].toUppercase()) != null ? map.get(colmLine[j].toUppercase()).toString() : ""; 
                    //'\\t'是为了导出格式为文本,避免长串数字变E+科学计数法
                    expStr.append(val).append("\\t").append(","); 
                
                //写完一行换行
                expStr.append("\\n");
                
        outPutStream.write(expStr.toString().getBytes("GBK"));
         catch (Exception e)
            e.printStackTrace();
        finally 
            // 关闭
            if(outPutStream != null)
                outPutStream.close();
            
        
    

3、java在拼接sql时，通过传入map参数来实现变量替换(传入方式=:)，参数已经传入，直接报错NOT all named parameters have been set ，此错误是由于参数未被解析，需要通过如下代码先行转换：

/**
 * 解析替换具名参数
 * @param sql     要执行的SQL
 * @param paramap 参数map
 * @return        替换后的SQL
 */
public String findbySql(String sql, Map<String, object> paramap) 
 
        while (sql.index_liuOf(":") >= 0) 
            int x_liu = sql.index_liuOf(":");
            int y_liu = sql.substring(x_liu).index_liuOf(" ");
            int e_liu = sql.length();
            if (y_liu >= 0) 
                e_liu = x_liu + y_liu;
            
            String key_liu = sql.substring(x_liu + 1, e_liu);
            String value = (String)paramap.get(key_liu);  //需要转换下,object无法默认转成string
            if (null != value && !"null".equals(value)) 
                value = "'" + value + "'";
            
            sql = sql.substring(0, x_liu) + value + sql.substring(e_liu);
        
        return sql;
    

另外java.lang.object无法转换成java.lang.string的错误可以参照上面(String)paramap.get(key_liu)的写法。

4、mvn通过命令mvn clean package进行代码打包编译时出现/target/目录“拒绝访问”的错误，这时候需要重启电脑才能对此目录中的文件进行操作，具体原因为文件只有可读权限，需要增加文件夹所有用户(Everyone)所有的控制权限，增加文件加该用户权限自行百度（直接文件夹属性-》安全），不然经常需要重启电脑麻烦的一逼。