Python - 读取 JSON 大尺寸数据

Posted 2023-04-17

【中文标题】Python - 读取 JSON 大尺寸数据

【英文标题】：Python -Reading JSON large size data

【发布时间】：2013-11-29 02:27:10

【问题描述】：

我想在 Python/R 中读取 JSON 数据（12 GB）。

如果我使用 json.loads() 函数，它会出现内存错误。

我对数据一无所知。是否可以读取部分数据？

请帮忙

【问题讨论】：

如果您的 RAM 至少没有超过 12 GB，您将无法读取 12 GB。

看看这个：pymotw.com/2/json/#working-with-streams-and-files

数据是单个JSON对象吗？或者你能分成更小的块吗？

回答@Hamish的问题，很重要。

如果文件是不同行上的一堆 json 对象，那么单独解析每一行是微不足道的。如果没有，您将不得不使用流式解析器（qiangwang 和 PepperoniPizza 的建议），它可以让您在解析数据时观察数据，保留您需要的数据，然后丢弃其余数据。

【参考方案1】：

https://pypi.python.org/pypi/ijson/这可能会有所帮助。

搜索“python json sax parser”，可以得到其他解决方案。