如何将熊猫数据添加到现有的 csv 文件中?

Posted

技术标签:

【中文标题】如何将熊猫数据添加到现有的 csv 文件中?【英文标题】:How to add pandas data to an existing csv file? 【发布时间】:2013-07-06 00:22:52 【问题描述】:

我想知道是否可以使用 pandas to_csv() 函数将数据框添加到现有的 csv 文件中。 csv 文件与加载的数据具有相同的结构。

【问题讨论】:

我认为@tlingf 建议的方法更好,因为他使用的是熊猫库的内置功能。他建议将模式定义为 "a" 。 “A”代表 APPEND 'df.to_csv('my_csv.csv', mode='a', header=False)' @KCzar 的答案考虑了 CSV 文件不存在(即添加列标题)和 CSV 已经存在(因此只添加没有标题的数据行)的两种情况。在任何情况下,它都使用“附加”模式和自定义分隔符,以及对列数的检查。 【参考方案1】:

这就是我在 2021 年的做法

假设我有一个 csv sales.csv,其中包含以下数据:

sales.csv

Order Name,Price,Qty
oil,200,2
butter,180,10

要添加更多行,我可以将它们加载到数据框中并将其附加到 csv 中,如下所示:

import pandas

data = [
    ['matchstick', '60', '11'],
    ['cookies', '10', '120']
]
dataframe = pandas.DataFrame(data)
dataframe.to_csv("sales.csv", index=False, mode='a', header=False)

输出将是:

Order Name,Price,Qty
oil,200,2
butter,180,10
matchstick,60,11
cookies,10,120

【讨论】:

我在***.com/a/17975690/3429115这里找不到附加值 它不会将 pandas 文件添加到现有的 csv 中。【参考方案2】:
with open(filename, 'a') as f:
    df.to_csv(f, header=f.tell()==0)
除非存在,否则创建文件,否则追加 如果正在创建文件,则添加标题,否则跳过它

【讨论】:

缺少mode='a' 作为to_csv 的参数(即df.to_csv(f, mode='a', header=f.tell()==0) @GabrielaMelo 这是在函数 open(filename, 'a') 中传递的。 我在每行数据之间都有一个额外的空白行(在 Windows 上,我猜这很容易受到影响),除非我添加一些括号:header=(f.tell()==0) - 并且还写:with open(filename, 'a', newline='') as f: 【参考方案3】:

最初从 pyspark 数据帧开始 - 给定我的 pyspark 数据帧中的架构/列类型,我遇到类型转换错误(在转换为 pandas df 然后附加到 csv 时)

通过强制每个 df 中的所有列为字符串类型,然后将其附加到 csv 来解决问题,如下所示:

with open('testAppend.csv', 'a') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)

【讨论】:

【参考方案4】:

您可以在 pandas to_csv 函数中指定 python 写入模式。对于追加,它是“a”。

在你的情况下:

df.to_csv('my_csv.csv', mode='a', header=False)

默认模式是'w'。

【讨论】:

感谢您的回答。这将允许我逐行追加新的 df 。但是你能告诉我如何按列附加新的 df 吗? 我能够通过重新读取“my_csv.csv”来完成它,然后连接新的 df,然后保存它。如果你知道一些更简单的方法,请告诉我。我很感激! 如何为第一个文件编写标题,其余行自动附加到它? @Etisha 类似df.to_csv(output_path, mode='a', header=not os.path.exists(output_path)) 正确答案,当然,只是一个注释:传递index=False 将告诉df.to_csv 不要将行索引写入第一列。根据应用程序,这可能有助于避免无意义的索引列。【参考方案5】:

聚会有点晚了,但如果您要多次打开和关闭文件,或者记录数据、统计信息等,您也可以使用上下文管理器。

from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
     file_to=open(path,mode)
     yield file_to
     file_to.close()


##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
      saved_df.to_csv('yourcsv.csv',mode='a',header=False)`

【讨论】:

在这里使用上下文管理器有什么好处? 这与使用open 作为上下文管理器有何不同?【参考方案6】:

我使用了一个小辅助函数和一些标题检查保护措施来处理这一切:

def appendDFToCSV_void(df, csvFilePath, sep=","):
    import os
    if not os.path.isfile(csvFilePath):
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep)
    elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):
        raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.")
    elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():
        raise Exception("Columns and column order of dataframe and csv file do not match!!")
    else:
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False)

【讨论】:

列顺序不匹配怎么办? @JasonGoal df = df.reindex(sorted(df.columns), axis=1);见***.com/a/11067072/9095840。【参考方案7】:

您可以通过opening the file 在追加模式下追加到 csv:

with open('my_csv.csv', 'a') as f:
    df.to_csv(f, header=False)

如果这是你的 csv,foo.csv:

,A,B,C
0,1,2,3
1,4,5,6

如果您阅读该内容然后附加,例如,df + 6

In [1]: df = pd.read_csv('foo.csv', index_col=0)

In [2]: df
Out[2]:
   A  B  C
0  1  2  3
1  4  5  6

In [3]: df + 6
Out[3]:
    A   B   C
0   7   8   9
1  10  11  12

In [4]: with open('foo.csv', 'a') as f:
             (df + 6).to_csv(f, header=False)

foo.csv 变为:

,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12

【讨论】:

你没有害处,但我认为你不需要上下文管理器来使用 to_csv() 方法。 我们真的需要with open('my_csv.csv', 'a') as f:吗??

以上是关于如何将熊猫数据添加到现有的 csv 文件中?的主要内容,如果未能解决你的问题,请参考以下文章

无法将熊猫数据框附加到现有的 Excel 工作表

如何将熊猫数据框显示到现有的烧瓶 html 表中?

从 csv 文件将数据添加到现有的 apache spark 数据帧

在python中将行添加到现有的csv文件

如何将一些脚本添加到现有的 swf 文件中?

如何使用Golang将文件添加到现有的zip文件中