Python数据处理 | 批量提取文件夹下的csv文件,每个csv文件根据列索引提取特定几列,并将提取后的数据保存到新建的一个文件夹

Posted 叶庭云

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python数据处理 | 批量提取文件夹下的csv文件,每个csv文件根据列索引提取特定几列,并将提取后的数据保存到新建的一个文件夹相关的知识,希望对你有一定的参考价值。

文章目录


一、问题来源

价值 30 30 30 元的问答,那天在准备去吃饭前刚好看到,几分钟搞定,午饭加个鸡腿~~


二、解决方法

实现代码如下:

import os
import pandas as pd

path1 = "你放所有csv的文件夹路径"             # 你放所有csv的文件夹路径

path2 = "./data"         # 新建一个文件夹 文件夹名data  当前目录下  你也可以指定
if not os.path.exists(path2):
    os.mkdir(path2)

for filename in os.listdir(path):
    # 是csv文件
    if filename.endswith(".csv"):
        file_path1 = path1 + "/" + filename
        # 读取csv可能会编码错误  还可加参数 engine="python" 或者指定编码 encoding="utf-8"就可以解决
        df1 = pd.read_csv(file_path1)
        # 索引指定列的数据
        df2 = df1[['时间', '风机', '平均齿轮箱主滤芯1_1压力',
                  '平均齿轮箱主滤芯1_2压力', '平均齿轮箱主滤芯2_1压力', 
                   '平均齿轮箱主滤芯2_2压力']]
        # 保存到新建的文件夹 文件夹名data下面
        df2.to_csv(path2 + "/" + filename,
                   index=False, encoding="gb2312")
        
print("完成!")

总结:会 P y t h o n Python Python 的基础文件操作、Pandas的读取数据、索引指定列的数据、保存数据就能解决(几分钟的事儿)。读取 csv 可能会编码错误,加参数 engine=“python”,或者指定编码 encoding=“utf-8/gbk/gb2312”,多试试就可以解决。保存数据到 csv 文件里,有中文列名 Excel 打开会乱码,指定 encoding=“gb2312” 即可。


以上是关于Python数据处理 | 批量提取文件夹下的csv文件,每个csv文件根据列索引提取特定几列,并将提取后的数据保存到新建的一个文件夹的主要内容,如果未能解决你的问题,请参考以下文章

python批量读取csv并提取其中多行生成新csv

python批量读取csv并提取其中多行生成新csv

python批量读取csv并提取其中多行生成新csv

Python批量提取图片经纬度并写入csv文件

Python批量提取图片经纬度并写入csv文件

Python实现对csv的批量处理并保存