python如何批量读取文件 python如何批量读取csv python如何批量读取npy

Posted 2021-07-15 _刘文凯_

python 如何读取一个文件目录下的所有csv 或者 npy 或者 txt

读取csv

import pandas as pd
import numpy as np
import os
os.chdir("./data") # 设置工作目录
file_chdir = os.getcwd() # 获得工作目录

filename_npy = [] # 文件名列表
file_npy = [] # 数据列表
for root,dirs,files in os.walk(file_chdir): # os.walk会便利该目录下的所有文件
    for file in files:
        if os.path.splitext(file)[-1] == '.csv': # 判断文件格式是否符合csv格式
            filename_npy.append(file)
            file_npy.append(pd.read_csv(file,header = None,sep=None)) # 存储数据，可以改成“字典”形式
   
data = file_npy # data就是所有数据的存储

读取npy

import pandas as pd
import numpy as np
import os
os.chdir("./data") # 设置工作目录
file_chdir = os.getcwd() # 获得工作目录

filename_npy = [] # 文件名列表
file_npy = [] # 数据列表
for root,dirs,files in os.walk(file_chdir): # os.walk会便利该目录下的所有文件
    for file in files:
        if os.path.splitext(file)[-1] == '.npy': # 判断文件格式是否符合npy格式
            filename_npy.append(file) # 存储文件名
            file_npy.append(np.load(file),allow_pickle=True) # 存储数据
   
data = file_npy # data就是所有数据的存储

读取txt

和上面的代码相似，只要把  if os.path.splitext(file)[-1] == '.npy',更改为 == '.txt'即可