Python pd.merge函数通过索引横向合并csv文件

Posted 空中旋转篮球

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python pd.merge函数通过索引横向合并csv文件相关的知识,希望对你有一定的参考价值。

1.pd.merge函数介绍

pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
         left_index=False, right_index=False, sort=True,
         suffixes=('_x', '_y'), copy=True, indicator=False,
         validate=None)

参考原文:原文很详细,本文增加多重索引合并内容。【python】详解pandas库的pd.merge函数_brucewong0516的博客-CSDN博客_merge函数

参数如下:

  • left: 拼接的左侧DataFrame对象
  • right: 拼接的右侧DataFrame对象
  • on: 要加入的列或索引级别名称。 必须在左侧和右侧DataFrame对象中找到。 如果未传递且left_index和right_index为False,则DataFrame中的列的交集将被推断为连接键。
  • left_on:左侧DataFrame中的列或索引级别用作键。 可以是列名,索引级名称,也可以是长度等于DataFrame长度的数组。
  • right_on: 左侧DataFrame中的列或索引级别用作键。 可以是列名,索引级名称,也可以是长度等于DataFrame长度的数组。
  • left_index: 如果为True,则使用左侧DataFrame中的索引(行标签)作为其连接键。 对于具有MultiIndex(分层)的DataFrame,级别数必须与右侧DataFrame中的连接键数相匹配。
  • right_index: 与left_index功能相似。
  • how: One of ‘left’, ‘right’, ‘outer’, ‘inner’. 默认inner。inner是取交集,outer取并集。比如left:[‘A’,‘B’,‘C’];right[’'A,‘C’,‘D’];inner取交集的话,left中出现的A会和right中出现的买一个A进行匹配拼接,如果没有是B,在right中没有匹配到,则会丢失。'outer’取并集,出现的A会进行一一匹配,没有同时出现的会将缺失的部分添加缺失值。
  • sort: 按字典顺序通过连接键对结果DataFrame进行排序。 默认为True,设置为False将在很多情况下显着提高性能。
  • suffixes: 用于重叠列的字符串后缀元组。 默认为(‘x’,’ y’)。
  • copy: 始终从传递的DataFrame对象复制数据(默认为True),即使不需要重建索引也是如此。
  • indicator:将一列添加到名为_merge的输出DataFrame,其中包含有关每行源的信息。 _merge是分类类型,并且对于其合并键仅出现在“左”DataFrame中的观察值,取得值为left_only,对于其合并键仅出现在“右”DataFrame中的观察值为right_only,并且如果在两者中都找到观察点的合并键,则为left_only。

2.单索引列合并

当使用的索引列为字段唯一值的时候,仅使用唯一一个列就可以有效合并,这里使用how属性选择inner,取交集结果,以减少数据量。

import pandas as pd
# 读取数据
r1 = pd.read_csv(r"test1.csv", encoding='gbk')  # 文件1
r2 = pd.read_csv(r"test2.csv", encoding='gbk')  # 文件2
# 数据合并
all_data_st = pd.merge(r1, r2, how='inner', left_on=['columnname'], right_on=['columnname'])

# 导出结果数据
all_data_st.to_csv(r"out.csv", index=False,encoding='gbk')

3.多重索引列合并

当使用的索引列为字段值不唯一的时候,我们可以增加列来组合条件进行数据合并,具体代码如下,增加了,'columnname1'条件进行筛选合并:

import pandas as pd
# 读取数据
r1 = pd.read_csv(r"test1.csv", encoding='gbk')  # 文件1
r2 = pd.read_csv(r"test2.csv", encoding='gbk')  # 文件2
# 数据合并
all_data_st = pd.merge(r1, r2, how='inner', left_on=['columnname','columnname1'], right_on=['columnname','columnname1'])

# 导出结果数据
all_data_st.to_csv(r"out.csv", index=False,encoding='gbk')

以上是关于Python pd.merge函数通过索引横向合并csv文件的主要内容,如果未能解决你的问题,请参考以下文章

python数据分析(12)Pandas实现对Excel列表数据整合(merge纵向合并concat横向连接)

Python-dataframe合并(merge函数)

使用pandas将两表进行关联查询merge()-横向合并

17、pandas的merge合并函数

pd.merge "TypeError: 字符串索引必须是整数"

与熊猫合并后设置索引?