python处理数据的风骚操作[pandas 之 groupby&agg]
Posted chengjunde
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python处理数据的风骚操作[pandas 之 groupby&agg]相关的知识，希望对你有一定的参考价值。
https://segmentfault.com/a/1190000012394176
介绍
每隔一段时间我都会去学习、回顾一下python中的新函数、新操作。这对于你后面的工作是有一定好处的。
本文重点介绍了pandas中groupby、Grouper和agg函数的使用。这2个函数作用类似，都是对数据集中的一类属性进行聚合操作，比如统计一个用户在每个月内的全部花销，统计某个属性的最大、最小、累和、平均等数值。
其中，agg是pandas 0.20新引入的功能
groupby && Grouper
首先，我们从网上把数据下载下来，后面的操作都是基于这份数据的：
import pandas as pd
df = pd.read_excel("https://github.com/chris1610/pbpython/blob/master/data/sample-salesv3.xlsx?raw=True")
df["date"] = pd.to_datetime(df[\'date\'])
df.head()
（图片来自于jupyter notebook，强烈推荐使用它作为python的交互工具）
下面，我们统计\'ext price\'这个属性在每个月的累和(sum)值，resample 只有在index为date类型的时候才能用：
df.set_index(\'date\').resample(\'M\')[\'ext price\'].sum()date
2014-01-31 185361.66
2014-02-28 146211.62
2014-03-31 203921.38
2014-04-30 174574.11
2014-05-31 165418.55
2014-06-30 174089.33
2014-07-31 191662.11
2014-08-31 153778.59
2014-09-30 168443.17
2014-10-31 171495.32
2014-11-30 119961.22
2014-12-31 163867.26
Freq: M, Name: ext price, dtype: float64进一步的，我们想知道每个用户每个月的sum值，那么就需要一个groupby了：
df.set_index(\'date\').groupby(\'name\')[\'ext price\'].resample("M").sum()name date
Barton LLC 2014-01-31 6177.57
2014-02-28 12218.03
2014-03-31 3513.53
2014-04-30 11474.20
2014-05-31 10220.17
2014-06-30 10463.73
2014-07-31 6750.48
2014-08-31 17541.46
2014-09-30 14053.61
2014-10-31 9351.68
2014-11-30 4901.14
2014-12-31 2772.90
Cronin, Oberbrunner and Spencer 2014-01-31 1141.75
2014-02-28 13976.26
2014-03-31 11691.62
2014-04-30 3685.44
2014-05-31 6760.11
2014-06-30 5379.67
2014-07-31 6020.30
2014-08-31 5399.58
2014-09-30 12693.74
2014-10-31 9324.37
2014-11-30 6021.11
2014-12-31 7640.60
Frami, Hills and Schmidt 2014-01-31 5112.34
2014-02-28 4124.53
2014-03-31 10397.44
2014-04-30 5036.18
2014-05-31 4097.87
2014-06-30 13192.19
...
Trantow-Barrows 2014-07-31 11987.34
2014-08-31 17251.65
2014-09-30 6992.48
2014-10-31 10064.27
2014-11-30 6550.10
2014-12-31 10124.23
White-Trantow 2014-01-31 13703.77
2014-02-28 11783.98
2014-03-31 8583.05
2014-04-30 19009.20
2014-05-31 5877.29
2014-06-30 14791.32
2014-07-31 10242.62
2014-08-31 12287.21
2014-09-30 5315.16
2014-10-31 19896.85
2014-11-30 9544.61
2014-12-31 4806.93
Will LLC 2014-01-31 20953.87
2014-02-28 13613.06
2014-03-31 9838.93
2014-04-30 6094.94
2014-05-31 11856.95
2014-06-30 2419.52
2014-07-31 11017.54
2014-08-31 1439.82
2014-09-30 4345.99
2014-10-31 7085.33
2014-11-30 3210.44
2014-12-31 12561.21
Name: ext price, Length: 240, dtype: float64结果肯定是对的，但是不够完美。我们可以使用Grouper写得更加简洁：
# df.set_index(\'date\').groupby(\'name\')[\'ext price\'].resample("M").sum()
df.groupby([\'name\', pd.Grouper(key=\'date\', freq=\'M\')])[\'ext price\'].sum()结果和上面
以上是关于python处理数据的风骚操作[pandas 之 groupby&agg]的主要内容，如果未能解决你的问题，请参考以下文章