使用 Groupby 的 Python Pandas 条件和
Posted
技术标签:
【中文标题】使用 Groupby 的 Python Pandas 条件和【英文标题】:Python Pandas Conditional Sum with Groupby 【发布时间】:2013-06-20 09:47:46 【问题描述】:使用样本数据:
df = pd.DataFrame('key1' : ['a','a','b','b','a'],
'key2' : ['one', 'two', 'one', 'two', 'one'],
'data1' : np.random.randn(5),
'data2' : np. random.randn(5))
df
data1 data2 key1 key2
0 0.361601 0.375297 a one
1 0.069889 0.809772 a two
2 1.468194 0.272929 b one
3 -1.138458 0.865060 b two
4 -0.268210 1.250340 a one
我试图弄清楚如何按 key1 对数据进行分组,并仅对 key2 等于“一”的 data1 值求和。
这是我尝试过的
def f(d,a,b):
d.ix[d[a] == b, 'data1'].sum()
df.groupby(['key1']).apply(f, a = 'key2', b = 'one').reset_index()
但这给了我一个“无”值的数据框
index key1 0
0 a None
1 b None
这里有什么想法吗?我正在寻找与以下 SQL 等效的 Pandas:
SELECT Key1, SUM(CASE WHEN Key2 = 'one' then data1 else 0 end)
FROM df
GROUP BY key1
仅供参考 - 我见过 conditional sums for pandas aggregate,但无法将那里提供的答案转换为使用总和而不是计数。
提前致谢
【问题讨论】:
【参考方案1】:第一组按 key1 列:
In [11]: g = df.groupby('key1')
然后为每个组取 key2 等于 'one' 的 subDataFrame 并对 data1 列求和:
In [12]: g.apply(lambda x: x[x['key2'] == 'one']['data1'].sum())
Out[12]:
key1
a 0.093391
b 1.468194
dtype: float64
为了解释发生了什么,让我们看一下“a”组:
In [21]: a = g.get_group('a')
In [22]: a
Out[22]:
data1 data2 key1 key2
0 0.361601 0.375297 a one
1 0.069889 0.809772 a two
4 -0.268210 1.250340 a one
In [23]: a[a['key2'] == 'one']
Out[23]:
data1 data2 key1 key2
0 0.361601 0.375297 a one
4 -0.268210 1.250340 a one
In [24]: a[a['key2'] == 'one']['data1']
Out[24]:
0 0.361601
4 -0.268210
Name: data1, dtype: float64
In [25]: a[a['key2'] == 'one']['data1'].sum()
Out[25]: 0.093391000000000002
通过将数据框限制为只有 key2 等于一个的数据框,这样做可能会更容易/更清晰:
In [31]: df1 = df[df['key2'] == 'one']
In [32]: df1
Out[32]:
data1 data2 key1 key2
0 0.361601 0.375297 a one
2 1.468194 0.272929 b one
4 -0.268210 1.250340 a one
In [33]: df1.groupby('key1')['data1'].sum()
Out[33]:
key1
a 0.093391
b 1.468194
Name: data1, dtype: float64
【讨论】:
太棒了!我正在对我的实际数据进行尝试(可能需要一段时间),但我认为这就是我想要的。非常感谢 刚刚搜索了文档和快速的谷歌搜索...无法通过 groupby 过滤器准确找到您所指的内容...您能指出正确的方向吗? @AllenQ 这是 dev 中的一种新方法(很快就会出现在 0.11.1 中)。 在这些场景中是否可以避免使用apply 老实说,这是对 SO 的最佳回应之一。分解它并展示它是如何工作的让我从 groupby 新手变成了专业人士。谢谢!!【参考方案2】:我认为今天使用 pandas 0.23 你可以做到这一点:
import numpy as np
df.assign(result = np.where(df['key2']=='one',df.data1,0))\
.groupby('key1').agg('result':sum)
这样做的好处是您可以将其应用于同一数据帧的多个列
df.assign(
result1 = np.where(df['key2']=='one',df.data1,0),
result2 = np.where(df['key2']=='two',df.data1,0)
).groupby('key1').agg('result1':sum, 'result2':sum)
【讨论】:
【参考方案3】:您可以在执行groupby
操作之前过滤您的数据框。如果由于所有值都超出范围而减少了您的系列索引,您可以使用reindex
和fillna
:
res = df.loc[df['key2'].eq('one')]\
.groupby('key1')['data1'].sum()\
.reindex(df['key1'].unique()).fillna(0)
print(res)
key1
a 3.631610
b 0.978738
c 0.000000
Name: data1, dtype: float64
设置
我添加了一个额外的行用于演示目的。
np.random.seed(0)
df = pd.DataFrame('key1': ['a','a','b','b','a','c'],
'key2': ['one', 'two', 'one', 'two', 'one', 'two'],
'data1': np.random.randn(6),
'data2': np.random.randn(6))
【讨论】:
以上是关于使用 Groupby 的 Python Pandas 条件和的主要内容,如果未能解决你的问题,请参考以下文章