如何通过python读取30G parquet文件

Posted 2023-03-11

【中文标题】如何通过python读取30G parquet文件

【英文标题】：How to read a 30G parquet file by python

【发布时间】：2021-10-15 20:11:33

【问题描述】：

我正在尝试从 30G 的大型 parquet 文件中读取数据。我的内存不支持在python中使用fastparquet默认读取，所以不知道应该怎么做才能降低读取过程的内存使用率。

【参考方案1】：

您可以使用 pyarrow 的 iter_batches 以增量方式读取行块。