如何在熊猫 DataFrame 中对连续值进行分组
Posted
技术标签:
【中文标题】如何在熊猫 DataFrame 中对连续值进行分组【英文标题】:How to groupby consecutive values in pandas DataFrame 【发布时间】:2017-04-09 17:24:48 【问题描述】:我在 DataFrame 中有一个包含值的列:
[1, 1, -1, 1, -1, -1]
我怎样才能将它们分组?
[1,1] [-1] [1] [-1, -1]
【问题讨论】:
df = pd.DataFrame('a': [1, 1, -1, 1, -1, -1, -1, 1, 1, 1, -1])
是一个更好的测试用例,以确保我们捕获所有组,而不仅仅是长度二
【参考方案1】:
您可以通过自定义Series
来使用groupby
:
df = pd.DataFrame('a': [1, 1, -1, 1, -1, -1])
print (df)
a
0 1
1 1
2 -1
3 1
4 -1
5 -1
print ((df.a != df.a.shift()).cumsum())
0 1
1 1
2 2
3 3
4 4
5 4
Name: a, dtype: int32
for i, g in df.groupby([(df.a != df.a.shift()).cumsum()]):
print (i)
print (g)
print (g.a.tolist())
a
0 1
1 1
[1, 1]
2
a
2 -1
[-1]
3
a
3 1
[1]
4
a
4 -1
5 -1
[-1, -1]
【讨论】:
如果您想使用此解决方案来.groupby()
连续日期相差 1 小时,请将条件更改为 df['date'].diff() != pd.Timedelta('1 hour')
github.com/pandas-dev/pandas/issues/5494 要求与 itertools.groupby()
相同的行为,但它是 Contributions Welcome, No action on 6 Jul 2018
而不是==
,实际上有一个矢量化的.ne()
函数:df.a.ne(df.a.shift())
【参考方案2】:
使用来自 Jez 的 itertools
中的 groupby
数据
from itertools import groupby
[ list(group) for key, group in groupby(df.a.values.tolist())]
Out[361]: [[1, 1], [-1], [1], [-1, -1]]
【讨论】:
这个答案比公认的cumsum()
解决方案更明确
来自文档:The operation of groupby() is similar to the uniq filter in Unix. It generates a break or new group every time the value of the key function changes
虽然这是对问题的字面回答,但它失去了对连续值组经常需要的标签。【参考方案3】:
Series.diff
是标记组边界的另一种方式(a!=a.shift
表示a.diff!=0
):
consecutives = df['a'].diff().ne(0).cumsum()
# 0 1
# 1 1
# 2 2
# 3 3
# 4 4
# 5 4
# Name: a, dtype: int64
要将这些组转换为一系列列表(有关列表列表,请参阅其他答案),请与 groupby.agg
或 groupby.apply
聚合:
df['a'].groupby(consecutives).agg(list)
# a
# 1 [1, 1]
# 2 [-1]
# 3 [1]
# 4 [-1, -1]
# Name: a, dtype: object
【讨论】:
【参考方案4】:如果您正在处理字符串值:
s = pd.DataFrame(['A','A','A','BB','BB','CC','A','A','BB'], columns=['a'])
string_groups = sum([['%s_%s' % (i,n) for i in g] for n,(k,g) in enumerate(itertools.groupby(s.a))],[])
>>> string_groups
['A_0', 'A_0', 'A_0', 'BB_1', 'BB_1', 'CC_2', 'A_3', 'A_3', 'BB_4']
grouped = s.groupby(string_groups, sort=False).agg(list)
grouped.index = grouped.index.str.split('_').str[0]
>>> grouped
a
A [A, A, A]
BB [BB, BB]
CC [CC]
A [A, A]
BB [BB]
作为一个单独的函数:
def groupby_consec(df, col):
string_groups = sum([['%s_%s' % (i, n) for i in g]
for n, (k, g) in enumerate(itertools.groupby(df[col]))], [])
return df.groupby(string_groups, sort=False)
【讨论】:
以上是关于如何在熊猫 DataFrame 中对连续值进行分组的主要内容,如果未能解决你的问题,请参考以下文章