如何在 R 中加载大数据？ [复制]

Posted 2023-02-22

【中文标题】如何在 R 中加载大数据？ [复制]

【英文标题】：How to load big data in R? [duplicate]

【发布时间】：2014-09-16 21:25:01

【问题描述】：

我有超过 100 列的 1600 万条客户记录。我有兴趣在 R 中加载完整数据并希望在其上运行我的 R 代码。

我使用以下方法在 R 中加载数据：

read.table("D:/data.txt",header = TRUE, sep = "þ",
           skipNul = TRUE,strip.white = TRUE,
           fill=TRUE, check.names = TRUE,na.string="NA",quote="")

但是我的系统挂了。

有没有什么高效有效的读取大数据的方法？

【问题讨论】：

你的设备有多“大”？

这个调用检查了很多东西，它应该很慢。您是否尝试过减少参数列表并可能分块阅读？具有讽刺意味的是，您忽略了建议使用read.table 实现最大效率的论点

如果该死的东西不适合你的可用内存，你将不得不阅读High performance task view。

【参考方案1】：

library(data.table)

DT <- fread("D:/data.txt")

如果您正在处理该大小的数据，您可能希望使用data.table ;)

【讨论】：

我使用了以下内容：d