读取超大Excel(39万行数据)

Posted 星炎123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了读取超大Excel(39万行数据)相关的知识,希望对你有一定的参考价值。

     有个学长需要处理Excel数据,Excel数据共有39W,将数据读取后处理并导出数据。最开始尝试了 NPOI ,发现NPOI 并不能完成该项任务,随后尝试引用的com组件:Microsoft.Office.Interop.Excel.dll   读取EXCEL文件 . 最终 ,也以失败告终。最终,采用 将Excel 转为CSV 格式读取。

    逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。

    CSV是一种通用的、相对简单的文件格式,被用户、商业和科学广泛应用。

   如 excel 表格 :

 

利用Excel转为CSV 功能后得到csv 数据 ,用记事本打开后:

                     接下来 ,只需要是使用文件流读取数据就行。  将Excel 转换为CSV 格式文件后,读取39W行数据非常快 。 同时导出数据也可以为CSV 格式。

使用Excel 可以完美打开。  当然 ,如果实在有需要读取XLS,XLSX文件的话, 需要另外想办法。。

 

 

以上是关于读取超大Excel(39万行数据)的主要内容,如果未能解决你的问题,请参考以下文章

Snapde一个全新的CSV超大文件编辑软件

poi大数据读写excel

mysql如何分批导出超150万行数据表,因为CSV文件用excel打开最多容纳104万行?

mysql导入excel十多万行

百万行超大csv如何快速导入mysql

如何在 Pandas 中的超大数据框上创建数据透视表