如何将不同 .csv 文件中的所有数据合并到一个表中?

Posted

技术标签:

【中文标题】如何将不同 .csv 文件中的所有数据合并到一个表中?【英文标题】:How can i combine all the data from the different .csv files into a single table? 【发布时间】:2019-09-07 16:20:35 【问题描述】:

我已经给出了 5 个 CSV 文件,现在我想将这些文件中的所有数据合并到一个表中。

到目前为止,我已经尝试过 pandas 的 pd.concat 和 .join,只能合并两个文件。到目前为止,我已经尝试了以下

data = pd.read_csv('data.csv') data1 = pd.read_csv('data2.csv)

merge = data.join(data1,lsuffix='_NOM',rSuffix='_NIM')

最后,我希望在我的表中并排放置所有数据。sample data.csv

【问题讨论】:

Pandas combine multiple csv files 的可能重复项。使用python combine many csv to one dataframe 搜索会产生更多可接受的问答。 所有 .csv 文件是否包含相同的列? 请不要发布代码/数据/Tracebacks 的图像。只需复制文本,将其粘贴到您的问题中并将其格式化为代码即可。 Formatting posts ... Formatting help @AshanPriyadarshana 是的,他们都有相同数量的列 【参考方案1】:

您只需遍历包含.csv 文件的目录。例如,参考下面:

import glob

df = pd.DataFrame()  # An empty data frame

for filename in glob.glob('./<path to your data files>/*.csv'):
    df_temp = pd.read_csv(filename)
    df = df.append(df_temp)

【讨论】:

以上是关于如何将不同 .csv 文件中的所有数据合并到一个表中?的主要内容,如果未能解决你的问题,请参考以下文章

合并具有不同列名但定义相同的多个CSV

是否可以使用 python 中的 bigquery API 将数据集中所有表的计数(*)发送到 csv 文件?

将共享 2 列的多个 CSV 文件合并到一个唯一的数据框中

如何把一个或几个CSV文件中的数据读取到Excel表格中

将具有不同架构(列)的多个文件 (.csv) 合并/合并为单个文件 .csv - Azure 数据工厂

多个EXCEL的CSV文件合并时会把每个文件的表头重复合并到结果文件里,能否让合并结果只有一个表头呢?