在python中拆分大数据文件

Posted 2023-02-24

【中文标题】在python中拆分大数据文件

【英文标题】：Splitting large data file in python

【发布时间】：2021-05-13 13:58:41

【问题描述】：

我在 python 中将一个大数组输出到一个文本文件中。然后我在excel中读取它来绘制数据。 目前，我正在编写的文件太大，无法在 excel 中读取。

我使用文件打开和关闭函数并将数据写入数组（请参考代码）：

with open("abc.txt", "w") as file:
    file.write(str(abc_value))
    file.close()

问题：如何拆分数据文件，以便在 1000000 步（大约）之后，文件关闭并开始写入另一个文件。

最后应该有多个数据文件，我可以分别在excel中读取。

非常感谢任何潜在客户！

【参考方案1】：

我不确定 type(abc_value) 最初是什么，但是如果您可以以数组的形式提交，则此代码应该可以工作：

counter = 1
for i in range(0, len(abc_value), 1000000):
    with open(f"abccounter.txt", "w") as file:
        for val in abc_value[i:i + 1000000]:
            file.write(str(val))
        file.close()
        counter += 1

主要思想只是拆分原始数据，然后在 for 循环中创建和打开不同的文件。

输出文件应该是 "abc1.txt","abc2.txt",...

希望我正确理解了您的问题并回答了它。

【讨论】：

非常感谢！要回答您的问题，abc_value 是一个数组。