从数据框中删除重复项，基于两列 A，B，在另一列 C 中保持具有最大值的行

Posted 2023-02-18

【中文标题】从数据框中删除重复项，基于两列 A，B，在另一列 C 中保持具有最大值的行

【英文标题】：Remove duplicates from dataframe, based on two columns A,B, keeping row with max value in another column C

【发布时间】：2015-11-12 15:42:16

【问题描述】：

我有一个 pandas 数据框，其中包含根据两列（A 和 B）的重复值：

A B C
1 2 1
1 2 4
2 7 1
3 4 0
3 4 8

我想删除在 C 列中保持最大值的行的重复项。这将导致：

A B C
1 2 4
2 7 1
3 4 8

我不知道该怎么做。我应该使用drop_duplicates() 吗？

【参考方案1】：

您可以使用 group by：

c_maxes = df.groupby(['A', 'B']).C.transform(max)
df = df.loc[df.C == c_maxes]

c_maxes 是每个组中C 的最大值的Series，但与df 具有相同的长度和相同的索引。如果您还没有使用过.transform，那么打印c_maxes 可能是一个好主意，看看它是如何工作的。

使用drop_duplicates 的另一种方法是

df.sort('C').drop_duplicates(subset=['A', 'B'], take_last=True)

不确定哪个更有效，但我猜是第一种方法，因为它不涉及排序。

编辑： 从pandas 0.18 开始，第二个解决方案是

df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')

或者，或者，

df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'])

无论如何，groupby 解决方案的性能似乎要好得多：

%timeit -n 10 df.loc[df.groupby(['A', 'B']).C.max == df.C]
10 loops, best of 3: 25.7 ms per loop

%timeit -n 10 df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')
10 loops, best of 3: 101 ms per loop

【讨论】：

不要忘记分配新的数据帧（在本例中为 df）：df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'], inplace=True)

添加到@PV8 ' 注释，不要在表达式中使用inplace，因为它不会给出预期的结果，仍然需要分配，因为没有完成就地工作。最好明确地进行操作以避免意外。

不知道你在说什么，但是inplace命令在这种情况下有效，查看drop_duplicates***.com/questions/23667369/…的答案

take_last=True 不起作用，请按照文档使用keep='last'：pandas.pydata.org/docs/reference/api/…

请参阅编辑部分中的 cmets。

【参考方案2】：

你可以简单地使用 pandas drop duplicates 功能来做到这一点

df.drop_duplicates(['A','B'],keep= 'last')

【讨论】：

我知道这是一个老问题，但是如果我有一个 df 大约有 15 列并且不急于输入所有 11/15 列，有没有办法可以申请 @ 987654322@，但是为前 3 列和最后一列设置排除项？但我的 df 每次都会改变大小（基本上我用它以最容易导出到 csv 的方式存储数据），所以我并不总是知道最后一列的索引。

为什么要使用keep='last'？

【参考方案3】：

您可以随意使用drop_duplicates 进行操作

# initialisation
d = pd.DataFrame('A' : [1,1,2,3,3], 'B' : [2,2,7,4,4],  'C' : [1,4,1,0,8])

d = d.sort_values("C", ascending=False)
d = d.drop_duplicates(["A","B"])

如果得到相同的订单很重要

d = d.sort_index()

【参考方案4】：

我认为 groupby 应该可以工作。

df.groupby(['A', 'B']).max()['C']

如果您需要返回数据帧，您可以链接重置索引调用。

df.groupby(['A', 'B']).max()['C'].reset_index()

【讨论】：

这只会返回每个组中 C 的最大值的 Series，由 'A' 和 'B' 索引。

已编辑以包含取回数据框的选项

你读过这个问题吗？问题是删除行，只保留每个 A-B 组的“C”值最高的行。你还没有提出任何解决这部分问题的建议

df.groupby(['A', 'B']).max()['C'].reset_index() 返回 OP 的预期输出。