处理从 csv 导入的大数据

Posted

技术标签:

【中文标题】处理从 csv 导入的大数据【英文标题】:Handling big Data imported from csv 【发布时间】:2013-08-21 08:46:31 【问题描述】:

我已将 R 连接到我的 vb.net 项目。 R 给我一个大约 10000 行和 500 列的 .csv 文件。我想使用这些数据来创建带有图表等的 PowerPoint 幻灯片。我可以使用streamreader将这些数据放入数组或数据集中吗?但在我开始之前,我想知道存储数据的最佳方式是什么?考虑性能和可用性。

【问题讨论】:

看看这个答案:***.com/questions/1050112/…我想它可能对你有帮助。 【参考方案1】:

一个绝对用户友好的库 - http://www.codeproject.com/Articles/9258/A-Fast-CSV-Reader

【讨论】:

以上是关于处理从 csv 导入的大数据的主要内容,如果未能解决你的问题,请参考以下文章

Python:大 csv 文件导入

python请求上传带有附加数据的大文件

如何根据 R 中的原始文件名将包含多个数据帧的大列表保存为单个 csv

Mathematica 从 .csv 导入大整数?

数据分析2 - 数据导入及处理

如何在使用 EMR/Hive 将数据从 S3 导入 DynamoDB 时处理包含在引号 (CSV) 中的字段