pandas vs pyexcelerate 写入excel大文件比较

Posted 2022-02-19 HuaBro

工作中需要大量excel读写，数据大小接近200M，传统excel略显吃力，

无论是数据处理还是读取，很容易因为操作过快导致程序崩掉，如果忘了保存，那将是很头疼的事。

pandas除了读取和存储较慢，数据处理和查询都比较出色，下面就写入excel，对比pyexcelerate ，看看各自优势。

 

 

 

 

数据质量

 

 

 

通过对比：

        1、从时间看：pandas处理10m20s，pyexcelerate处理5m46s，pyexcelerate速度完胜，节省几乎一半时间。

         2、从存储文件大小看：pandas：173M，pyexcelerate：228M，pandas完胜，内存节省55M

         3、从数据质量看，pandas空数据NA，excel显示正常，pyexcelerate空数据，无论数值型还是文本型，均显示#NUM!，pandas完胜。

 

结论：

pandas大数据存储比较快，但是数据质量可靠，文件小；

pyexcelerate存储比较快，但是数据质量不佳，需要二次处理（excel再做处理，批量替换#NUM!不如用pandas），文件也比较大小

目前看来，pandas还是很稳妥，除了读写excel大文件比较慢，处理数据还是很快的。

【#NUM!：此错误表明公式或函数中含有无效的数值】

 

------------------------------- ********厚德达理，励志勤工******** -------------------------------