循环遍历excel文件做一些事情并将它们保存到新文件夹python pandas

Posted 2023-03-11

【中文标题】循环遍历excel文件做一些事情并将它们保存到新文件夹python pandas

【英文标题】：loop though excel files do something and save them to new folder python pandas

【发布时间】：2016-10-28 17:43:24

【问题描述】：

我在使用 for 循环时遇到了问题。 我不知道发生了什么，这曾经有效，但现在它告诉我“没有要连接的对象”。

我想完成两件事。 我想遍历文件夹中的所有 excel 文件。对于每个 excel 文件，我想删除 2 行标题数据（下面的代码已经这样做了）。

然后我想将每个已编辑的文件及其原始文件名保存在一个新文件夹中。而且，保存一个新文件，将每个已编辑文件中的所有数据附加在一起。

我以为我的附加是正确的，但由于某种原因它不再工作了。

import os
import pandas as pd
import numpy as np

from pandas import Series, DataFrame

appended_data = []

path = 'C:\Test\TestRawFile'
for fn in os.listdir(path):
    if os.path.isfile(fn):
        # Import the excel file and call it xlsx_file
        xlsx_file = pd.ExcelFile(fn)
        # View the excel files sheet names
        xlsx_file.sheet_names
        # Load the xlsx files Data sheet as a dataframe
        df = xlsx_file.parse('Sheet1',header= None)
        df_NoHeader = df[2:]
        data = df_NoHeader
        appended_data.append(data)
appended_data = pd.concat(appended_data)

这是我目前遇到的错误。

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-46-962ccf280c0b> in <module>()
     11         data = df_NoHeader
     12         appended_data.append(data)
---> 13 appended_data = pd.concat(appended_data)

C:\Anaconda2\lib\site-packages\pandas\tools\merge.pyc in concat(objs, axis, join, join_axes, ignore_index, keys, levels, names, verify_integrity, copy)
    832                        keys=keys, levels=levels, names=names,
    833                        verify_integrity=verify_integrity,
--> 834                        copy=copy)
    835     return op.get_result()
    836 

C:\Anaconda2\lib\site-packages\pandas\tools\merge.pyc in __init__(self, objs, axis, join, join_axes, keys, levels, names, ignore_index, verify_integrity, copy)
    865 
    866         if len(objs) == 0:
--> 867             raise ValueError('No objects to concatenate')
    868 
    869         if keys is None:

ValueError: No objects to concatenate

【问题讨论】：

将完整的回溯添加到您的问题

【参考方案1】：

最有可能的原因是脚本之前而不是现在工作的原因是您从 Excel 文件的文件夹中移动了它的位置，因为此代码使用相对路径。尝试使用将文件夹路径名连接到文件名的绝对路径。考虑使用os.path.join()，它甚至有助于保存到新文件夹：

dfList = []
path = 'C:\\Test\\TestRawFile' 
newpath = 'C:\\Path\\To\\New\\Folder'

for fn in os.listdir(path): 
  # Absolute file path
  file = os.path.join(path, fn)
  if os.path.isfile(file): 
    # Import the excel file and call it xlsx_file 
    xlsx_file = pd.ExcelFile(file) 
    # View the excel files sheet names 
    xlsx_file.sheet_names 
    # Load the xlsx files Data sheet as a dataframe 
    df = xlsx_file.parse('Sheet1',header= None) 
    df_NoHeader = df[2:] 
    data = df_NoHeader 
    # Save individual dataframe
    data.to_excel(os.path.join(newpath, fn))

    dfList.append(data) 

appended_data = pd.concat(dfList)
appended_data.to_excel(os.path.join(newpath, 'master_data.xlsx'))

【讨论】：

您好，谢谢！我相信你是对的。我看不出我的代码有一天可以工作，然后第二天就不能工作的任何其他原因。我收到了这个代码的错误，它显示如下： AttributeError: 'DataFrame' object has no attribute 'sheet_names'

好的，我发现了这个问题。 xlsx_file = pd.read_excel(file) 正在创建一个数据框，我需要进入并选择特定的工作表，我将其更改为 xlsx_file = pd.ExcelFile(file)。现在我的问题是新格式化的文件正在覆盖原始文件。我想将所有编辑保存在一个新文件夹中。 （我想我可以弄清楚）。谢谢！！！

我创建了一个新路径，AllFormatedFiles 然后更改了 data.to_excel(os.path.join(AllFormatedFiles, os.path.basename(file))) 再次感谢您的帮助。

太棒了！很高兴它成功了。我在错误地将完整文件路径与 newpath 目录连接的地方进行了相应的编辑。而且您不需要使用 basename，因为循环的 fn 是基本名称。只需致电：data.to_excel(os.path.join(newpath, fn))。使用 glob 需要 basename。

【参考方案2】：

IIUC 你可以这样做：

import os
import glob
import pandas as pd

fmask = '/path/to/excel_files_dir/*.xls*'
target_dir = '/path/to/'
target_fname = '/path/to/result.xlsx'

dfs = []
for f in glob.glob(fmask):
    df = pd.read_excel(f, header=None, skiprows=2)
    df.to_excel(os.path.join(target_dir, os.path.basename(f)),
                index=False)
    dfs.append(df)

# save concatenated
pd.concat(dfs, ignore_index=True).to_excel(target_fname, index=False)

【讨论】：

谢谢，我最终使用了下面的答案。我的实际代码不仅仅是删除前两行，但我把它省略了。不过，我使用了代码的 os.path.basename 方面。非常感谢！