从数据框中删除重复项,基于两列 A,B,在另一列 C 中保持具有最大值的行

Posted

技术标签:

【中文标题】从数据框中删除重复项,基于两列 A,B,在另一列 C 中保持具有最大值的行【英文标题】:Remove duplicates from dataframe, based on two columns A,B, keeping row with max value in another column C 【发布时间】:2015-11-12 15:42:16 【问题描述】:

我有一个 pandas 数据框,其中包含根据两列(A 和 B)的重复值:

A B C
1 2 1
1 2 4
2 7 1
3 4 0
3 4 8

我想删除在 C 列中保持最大值的行的重复项。这将导致:

A B C
1 2 4
2 7 1
3 4 8

我不知道该怎么做。我应该使用drop_duplicates() 吗?

【问题讨论】:

【参考方案1】:

您可以使用 group by:

c_maxes = df.groupby(['A', 'B']).C.transform(max)
df = df.loc[df.C == c_maxes]

c_maxes 是每个组中C 的最大值的Series,但与df 具有相同的长度和相同的索引。如果您还没有使用过.transform,那么打印c_maxes 可能是一个好主意,看看它是如何工作的。

使用drop_duplicates 的另一种方法是

df.sort('C').drop_duplicates(subset=['A', 'B'], take_last=True)

不确定哪个更有效,但我猜是第一种方法,因为它不涉及排序。

编辑:pandas 0.18 开始,第二个解决方案是

df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')

或者,或者,

df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'])

无论如何,groupby 解决方案的性能似乎要好得多:

%timeit -n 10 df.loc[df.groupby(['A', 'B']).C.max == df.C]
10 loops, best of 3: 25.7 ms per loop

%timeit -n 10 df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')
10 loops, best of 3: 101 ms per loop

【讨论】:

不要忘记分配新的数据帧(在本例中为 df):df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'], inplace=True) 添加到@PV8 ' 注释,不要在表达式中使用inplace,因为它不会给出预期的结果,仍然需要分配,因为没有完成就地工作。最好明确地进行操作以避免意外。 不知道你在说什么,但是inplace命令在这种情况下有效,查看drop_duplicates***.com/questions/23667369/…的答案 take_last=True 不起作用,请按照文档使用keep='last':pandas.pydata.org/docs/reference/api/… 请参阅编辑部分中的 cmets。【参考方案2】:

你可以简单地使用 pandas drop duplicates 功能来做到这一点

df.drop_duplicates(['A','B'],keep= 'last')

【讨论】:

我知道这是一个老问题,但是如果我有一个 df 大约有 15 列并且不急于输入所有 11/15 列,有没有办法可以申请 @ 987654322@,但是为前 3 列和最后一列设置排除项?但我的 df 每次都会改变大小(基本上我用它以最容易导出到 csv 的方式存储数据),所以我并不总是知道最后一列的索引。 为什么要使用keep='last'?【参考方案3】:

您可以随意使用drop_duplicates 进行操作

# initialisation
d = pd.DataFrame('A' : [1,1,2,3,3], 'B' : [2,2,7,4,4],  'C' : [1,4,1,0,8])

d = d.sort_values("C", ascending=False)
d = d.drop_duplicates(["A","B"])

如果得到相同的订单很重要

d = d.sort_index()

【讨论】:

【参考方案4】:

我认为 groupby 应该可以工作。

df.groupby(['A', 'B']).max()['C']

如果您需要返回数据帧,您可以链接重置索引调用。

df.groupby(['A', 'B']).max()['C'].reset_index()

【讨论】:

这只会返回每个组中 C 的最大值的 Series,由 'A' 和 'B' 索引。 已编辑以包含取回数据框的选项 你读过这个问题吗?问题是删除行,只保留每个 A-B 组的“C”值最高的行。你还没有提出任何解决这部分问题的建议 df.groupby(['A', 'B']).max()['C'].reset_index() 返回 OP 的预期输出。

以上是关于从数据框中删除重复项,基于两列 A,B,在另一列 C 中保持具有最大值的行的主要内容,如果未能解决你的问题,请参考以下文章

如何使用 VBA 在 Excel 宏中删除具有两列的重复项?

基于R中的两列删除重复项[重复]

如何根据两列删除所有重复行?

EXCEL 比较一列数据是不是在另一列出现过

在按两列分组时选择最大值,并在另一列上排序

如何合并熊猫数据框中的两列,堆叠在顶部