从数据框中删除重复项,基于两列 A,B,在另一列 C 中保持具有最大值的行
Posted
技术标签:
【中文标题】从数据框中删除重复项,基于两列 A,B,在另一列 C 中保持具有最大值的行【英文标题】:Remove duplicates from dataframe, based on two columns A,B, keeping row with max value in another column C 【发布时间】:2015-11-12 15:42:16 【问题描述】:我有一个 pandas 数据框,其中包含根据两列(A 和 B)的重复值:
A B C
1 2 1
1 2 4
2 7 1
3 4 0
3 4 8
我想删除在 C 列中保持最大值的行的重复项。这将导致:
A B C
1 2 4
2 7 1
3 4 8
我不知道该怎么做。我应该使用drop_duplicates()
吗?
【问题讨论】:
【参考方案1】:您可以使用 group by:
c_maxes = df.groupby(['A', 'B']).C.transform(max)
df = df.loc[df.C == c_maxes]
c_maxes
是每个组中C
的最大值的Series
,但与df
具有相同的长度和相同的索引。如果您还没有使用过.transform
,那么打印c_maxes
可能是一个好主意,看看它是如何工作的。
使用drop_duplicates
的另一种方法是
df.sort('C').drop_duplicates(subset=['A', 'B'], take_last=True)
不确定哪个更有效,但我猜是第一种方法,因为它不涉及排序。
编辑:
从pandas 0.18
开始,第二个解决方案是
df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')
或者,或者,
df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'])
无论如何,groupby
解决方案的性能似乎要好得多:
%timeit -n 10 df.loc[df.groupby(['A', 'B']).C.max == df.C]
10 loops, best of 3: 25.7 ms per loop
%timeit -n 10 df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')
10 loops, best of 3: 101 ms per loop
【讨论】:
不要忘记分配新的数据帧(在本例中为 df):df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'], inplace=True)
添加到@PV8 ' 注释,不要在表达式中使用inplace
,因为它不会给出预期的结果,仍然需要分配,因为没有完成就地工作。最好明确地进行操作以避免意外。
不知道你在说什么,但是inplace命令在这种情况下有效,查看drop_duplicates
***.com/questions/23667369/…的答案
take_last=True
不起作用,请按照文档使用keep='last'
:pandas.pydata.org/docs/reference/api/…
请参阅编辑部分中的 cmets。【参考方案2】:
你可以简单地使用 pandas drop duplicates 功能来做到这一点
df.drop_duplicates(['A','B'],keep= 'last')
【讨论】:
我知道这是一个老问题,但是如果我有一个 df 大约有 15 列并且不急于输入所有 11/15 列,有没有办法可以申请 @ 987654322@,但是为前 3 列和最后一列设置排除项?但我的 df 每次都会改变大小(基本上我用它以最容易导出到 csv 的方式存储数据),所以我并不总是知道最后一列的索引。 为什么要使用keep='last'?【参考方案3】:您可以随意使用drop_duplicates
进行操作
# initialisation
d = pd.DataFrame('A' : [1,1,2,3,3], 'B' : [2,2,7,4,4], 'C' : [1,4,1,0,8])
d = d.sort_values("C", ascending=False)
d = d.drop_duplicates(["A","B"])
如果得到相同的订单很重要
d = d.sort_index()
【讨论】:
【参考方案4】:我认为 groupby 应该可以工作。
df.groupby(['A', 'B']).max()['C']
如果您需要返回数据帧,您可以链接重置索引调用。
df.groupby(['A', 'B']).max()['C'].reset_index()
【讨论】:
这只会返回每个组中 C 的最大值的 Series,由 'A' 和 'B' 索引。 已编辑以包含取回数据框的选项 你读过这个问题吗?问题是删除行,只保留每个 A-B 组的“C”值最高的行。你还没有提出任何解决这部分问题的建议df.groupby(['A', 'B']).max()['C'].reset_index()
返回 OP 的预期输出。以上是关于从数据框中删除重复项,基于两列 A,B,在另一列 C 中保持具有最大值的行的主要内容,如果未能解决你的问题,请参考以下文章