Snapde一个全新的CSV超大文件编辑软件

Posted virtualnatural

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Snapde一个全新的CSV超大文件编辑软件相关的知识,希望对你有一定的参考价值。

今天介绍如果数据量超过104万行Excel无法打开了,用什么软件可以打开呢?Snapde,一个专门为编辑超大型数据量CSV文件而设计的单机版电子表格软件;它在C++语言开发的Snapman多人协作电子表格内核基础上进行了重新设计,换用C语言重新开发内核,比Snapman的电子表格核心有了质的提升,支持编辑数据从原来的的15兆CSV提升到了2.5G,原来编辑5万行就会很卡的,现在编辑一两千万行都不会卡。Snapde安装包15.4m(主要python语言的文件占用空间),主程序非常轻巧启动超快;下面来一些大文件CSV测试其性能(1个三百多兆,1个一个G,1个3.7G):

1、deputies_dataset.csv文件,文件大小325.98m,3014903行10列(30149030个单元格)

技术分享图片

打开截图:

技术分享图片

 打开时间花费:20秒

 内存占用2497.8M:

技术分享图片

 

2、ft_train.csv文件,文件大小1.05G,307512行903列(277683336个单元格)

技术分享图片

 打开截图:

 技术分享图片

 打开时间花费:1分30秒

 内存占用2.8G:

 技术分享图片

 

3、yelp_review.csv文件,文件大小3.53G,5261669行10列(52616690个单元格)

 技术分享图片

 

 打开截图:

技术分享图片

 打开时间花费:2分14秒

 内存占用4.09G:

技术分享图片

 

 CSV文件是一种文本文件,我们使用世界上最厉害的文本编辑器之一:64位的notepade++对1G的ft_train.csv进行打开编辑,发现居然无法打开:

技术分享图片

 

无论从轻巧、流畅上看,还是从上面对于大型CSV文件操作看,snapde都是一个很优秀的编辑器。

Snapde的下载网址:http://www.snapman.xyz

Snapde功能介绍页面:http://www.snapman.xyz/Snapde/help.php

以上是关于Snapde一个全新的CSV超大文件编辑软件的主要内容,如果未能解决你的问题,请参考以下文章

snapde的批量数据运算公式

Snapde怎么添加行和列

根据条件从超大 (48GB) CSV 文件中提取行

超大CSV文件如何最快速度解析

PHP快速按行读取CSV大文件的封装类分享(也适用于其它超大文本文件)

修改读入的CSV文件中的列名