获取两个excel文件之间的差异

Posted

技术标签:

【中文标题】获取两个excel文件之间的差异【英文标题】:Get differences between two excel files 【发布时间】:2019-03-26 07:02:24 【问题描述】:

问题总结

给定 2 个 excel 文件,每个文件大约有 200 列,并且有一个共同的索引列 - 即两个文件中的每一行都有一个 name 属性说,生成一个只有差异的输出 excel 文件最好从excel文件2到excel文件1。 差异将定义为文件 2 中的任何新行而不是 file1 中的任何新行,以及 file2 中具有相同索引(名称)但一个或多个其他列不同的行。 这里有一个很好的例子,它使用了可能有用的熊猫:Compare 2 Excel files and output an Excel file with differences 但是,很难将该解决方案应用于具有 200 列的 excel 文件。

示例文件

以下是 2 个 csv 格式的简化(列从 200 列减少到 4 列)excel 文件的示例,索引列是名称。

Name,value,location,Name Copy
Bob,400,Sydney,Bob
Tim,500,Perth,Tim

Name,value,location,Name Copy
Bob,400,Sydney,Bob
Tim,500,Adelaide,Tim
Melanie,600,Brisbane,Melanie

所以给定以上 2 个输入文件,输出文件应该是:

Name,value,location,Name Copy
Tim,500,Adelaide,Tim
Melanie,600,Brisbane,Melanie

所以输出文件将有 2 行(不包括列标题行),第 2 行是不在 file1 中的新行,第 1 行包含从 file1 到 file2 的更改。

以下工作,但索引列丢失(它是 [1, 2] 而不是 ['Tim', 'Melanie'] :

import pandas as pd
df1 = pd.read_excel('simple1.xlsx', index_col=0)
df2 = pd.read_excel('simple2.xlsx', index_col=0)

df3 = pd.merge(df1, df2, how='right', sort='False', indicator='Indicator')
df4 = df3.loc[df3['Indicator'] == 'right_only']
df5 = df4.drop('Indicator', axis=1)

writer = pd.ExcelWriter('test.xlsx', engine='xlsxwriter')
df5.to_excel(writer, sheet_name='Sheet1')
writer.save()

【问题讨论】:

请提供MCVE。就目前而言,很难想象你正在尝试做什么。 【参考方案1】:

解决方案是使用 numpy.array_equal 来确定行是否相等:

import sys
import pandas as pd
import numpy as np

# Check for correct number of input arguments
if len(sys.argv) != 4:
    print('Usage :\n\tpython  old_excel_file new_excel_file  output_excel_file\n'.format(sys.argv[0]))
quit()

# Import input files into dataframes
old_file = sys.argv[1]
new_file = sys.argv[2]
out_file = sys.argv[3]
df1 = pd.read_excel(old_file, index_col=0)
df2 = pd.read_excel(new_file, index_col=0)

# Merge dataframes, maintaining index 
df_merged = pd.merge(df1, df2, left_index=True, right_index=True, how='outer', sort=False, indicator='Indicator')

# Add right-only rows to output dataframe
right_only_index = df_merged.index[df_merged['Indicator'] == 'right_only']
df_out = df2.loc[right_only_index]

# Iterate through "both" rows, and append ones that are not equal to the output dataframe
both_index = df_merged.index[df_merged['Indicator'] == 'both']
df_both = df2.loc[both_index]

for i, values in df_both.iterrows():
    if not np.array_equal(df1.loc[i].values, df2.loc[i].values):
        df_out = df_out.append(df2.loc[i])

# Write output dataframe to an Excel file (first the two header rows, and then the data rows)
writer = pd.ExcelWriter(out_file, engine='xlsxwriter')
df_out.to_excel(writer, sheet_name='Sheet1')
writer.save()

【讨论】:

以上是关于获取两个excel文件之间的差异的主要内容,如果未能解决你的问题,请参考以下文章

怎样用Beyond Compare比较两个excel表格文件差异

怎样用Beyond Compare比较两个excel表格文件差异

找出具有相同形状的两个DataFrame之间的差异

Python通过id值比较两个Excel,其他列中的“归档”输出与ID列有关的新excel差异

如何自动比对excel两个表格中的资料并找出差异

如何比对两个excel表的身份证号码和姓名