高分求助：怎么处理百万条的excel数据

Posted 2023-04-24

上百万的EXCEL数据，需要做一些筛选之类的简单处理。用什么程序可以达到的，EXCEL只能处理六万多条。看到有人说用Access，SQL什么的，但不是很懂，求高手指教！
有时不止一百万，而且正如2L所说，直接用EXCEL处理这么庞大的信息，运行速度会不会很慢啊？

Office2003是只有六万多行，而office 2007 可以有1,048,576行，如果在1百万条以内，建议换2007吧，但是速度会很慢，除非你的机器性能特高，否则用2003分成不同的工作表进行吧。
如果超过2007的最大记录数，只能用数据库软件来处理了，但是，很多Excel的功能就无法使用了。对数据的加工整理稍微复杂的工作，只能用Query语言（SQL）通过编程来做了。 参考技术A 用07版或者10版excle就可以了， 1048576行，可够用？

1 楼补充：
处理这么多的数据，当然要时间，你用服务器也是一样。不过在Excel中关闭自动重算会有相当大的帮助。或者考虑用VBA来解决一些简单的重复任务。 参考技术B 65536是excel2003的处理行数
其实excel 2007 2010已经支持1048576行，一百多万条，基本满足你的要求。
但是，但是很重要的一点是，这么大量的数据处理，用excel真的是会很卡很卡。大量的数据处理，真的不适合用excel 参考技术C 用10版的试

在 Spring Boot 中将数百万条记录从 postgresql 导出到 excel 中

【中文标题】在 Spring Boot 中将数百万条记录从 postgresql 导出到 excel 中

【英文标题】：Export millions records into excel from postgresql in spring boot

【发布时间】：2020-09-23 19:46:45

【问题描述】：

我正在使用 Apache poi jar 并使用 SXSSFWorkbook 接口将百万条记录导出到 spring boot java 中的 excel 中。此外，我正在使用 jdbc 模板（fetchSize）和 rowcallbackhandler 以块的形式从数据库（postgresql）中获取记录，但是看起来记录仍在一次从 db 中获取。请建议，下面是我用来从数据库中获取的代码

   jdbcTemplate.setFetchSize(1000);
   jdbcTemplate.query("select * from tbl",new 
                                     RowCallBackHandler(ResultSet rs)
                                           // Create row in excel and write data
                                      
                                   );

【参考方案1】：

在我使用的类似 java 代码中，我必须设置

setAutoCommit(假);

在连接中，获取正常工作。

       conn1 = DriverManager.getConnection(dbURL, dbUser, dbPass);
       conn1.setAutoCommit(false); 
       ...
        pstatement1 = conn1.prepareStatement(sqlsel);
        pstatement1.setString(1, sistema);
        pstatement1.setInt(2, id);
        pstatement1.setFetchSize(100);

祝你好运！ 如果这不能解决问题，请在您的问题中添加 JAVA 版本信息以及驱动程序版本。