ParserError：标记数据出错。 C错误：内存不足[关闭]

Posted 2023-01-23

关闭。这个问题是off-topic。它当前不接受答案。

---

是否要改善此问题？ Update the question，因此堆栈溢出为on-topic。

[<11天前关闭。

我遇到以下错误：

“ ParserError：标记数据出错。C错误：内存不足”

[当我尝试读取一个大数据帧（5 gb）时，但是我只选择我感兴趣的列并设置必要的参数，即使这样也不起作用。我尝试使用chunks参数。

df = pd.read_csv('file.csv', encoding = 'ISO-8859-1', usecols = names_columns, low_memory = False, nrows = 10000)

奇怪的是，当我放置参数"nrows = 1000"时，它起作用。
我运行的数据帧的行数比该行多，并且运行得很好，但是这给出了这个错误。
有人有什么建议吗？

答案

来自this answer：

1. 无需弄乱low_memory。删除该参数选项。
2. 指定dtypes（应该总是这样做）

考虑一个文件的示例，该文件的列名为user_id。它包含1000万行，其中user_id始终是数字。将dtype='user_id': int添加到pd.read_csv()调用中将使大熊猫在读取文件时知道这只是整数。