如何以 500 行的块将数据框导出到 csv

Posted 2023-03-11

【中文标题】如何以 500 行的块将数据框导出到 csv

【英文标题】：How to export a dataframe to csv in chunks of 500 rows

【发布时间】：2020-10-26 03:25:17

【问题描述】：

我有一个大型数据框，我将其导出为 CSV 并上传到第三方产品。第三方产品只能接受最多 500 行数据的上传，所以我想知道如何将数据框导出到更小的文件中。

目前我的代码如下：

df.to_csv("Export.csv",index=False)

但理想情况下希望代码导出文件以便它给出：

Export1.csv
Export2.csv
Export3.csv

等等，直到全部完成，每行有 500 行（然后是剩下的）。任何帮助将不胜感激！

【问题讨论】：

这能回答你的问题吗？ Writing large Pandas Dataframes to CSV file in chunks

【参考方案1】：

您可以使用df.groupby 函数将df 拆分为500 个块。并保存每个块。您可以在此处查看参考资料 (https://***.com/a/25703030/6996326)

import numpy as np
no_of_rows = 500
for k,g in df.groupby(np.arange(len(df))//no_of_rows):
    g.to_csv('Export.csv'.format(k+1), index=False)