如何使用 Python 和 Pandas 创建比 RAM 更大的 csv 文件

Posted 2023-04-18

【中文标题】如何使用 Python 和 Pandas 创建比 RAM 更大的 csv 文件

【英文标题】：How to create csv file bigger than you RAM using Python and Pandas

【发布时间】：2018-05-12 08:50:04

【问题描述】：

如何使用 Python（以及可能的 Pandas）创建比我的 RAM 内存更大的 CSV 文件？我正在考虑诸如“附加到 csv”之类的东西，而无需将整个 csv 文件加载到内存中。

【参考方案1】：

您可以打开一个文件对象并将数据帧连续写入该对象

with open('final.csv', 'a') as f:
    while True:
        #code to create df and break when finished
        df.to_csv(f)