python数据分析多份csv文件轴向合并

Posted 2021-06-03 愚匠鱼酱

手头有多份同类型的csv文件，想要轴向堆叠合并。NumPy的concatenate函数可以在NumPy数组上实现拼接、绑定或堆叠的功能。

代码放上来。

#!/usr/bin/python
#  coding: UTF-8 

import pandas as pd

# 相对路径常量
UPLOADED_FILE_PATH = "D:\\\\pythonscript\\\\data-output\\\\busstop\\\\"

# 获取文件目录下的文件列表
file_list = os.listdir(UPLOADED_FILE_PATH)
# 读取第一个CSV文件并包含表头
df1 = pd.read_csv(UPLOADED_FILE_PATH + file_list[0], encoding = "gbk")  # 编码默认UTF-8，若乱码自行更改
df1.columns = [\'name\',\'address\',\'location\',\'adname\']  #索引值
# 循环遍历列表中各个CSV文件名，并追加到合并后的文件
for i in range(1, len(file_list)):
    df2 = pd.read_csv(UPLOADED_FILE_PATH + file_list[i], encoding = "gbk")
    df2.columns = [\'name\',\'address\',\'location\',\'adname\']   #索引值
    # 调用concat方法将值和索引粘在一起
    df1 = pd.concat([df1,df2])
    # 展示全部列
    pd.options.display.max_columns = None 
    # 展示前两行
#     print(df1[0:2])
    # 写进文件里去，这里有很多设置参数的，需要的自己调
    df1.to_csv(\'D:\\\\pythonscript\\\\data-output\\\\busstop\\\\\' + \'merged_file.csv\', index=False)

最后是我运行出的结果，well done!!!