Pandas 分别对每个类别的日期范围求和

Posted 2023-03-12

【中文标题】Pandas 分别对每个类别的日期范围求和

【英文标题】：Pandas sum over a date range for each category separately

【发布时间】：2020-02-19 14:27:11

【问题描述】：

我有一个数据框，其中包含不同商品的销售交易时间序列：

import pandas as pd
from datetime import timedelta
df_1 = pd.DataFrame()
df_2 = pd.DataFrame()
df_3 = pd.DataFrame()

# Create datetimes and data
df_1['date'] = pd.date_range('1/1/2018', periods=5, freq='D')
df_1['item'] = 1
df_1['sales']= 2

df_2['date'] = pd.date_range('1/1/2018', periods=5, freq='D')
df_2['item'] = 2
df_2['sales']= 3

df_3['date'] = pd.date_range('1/1/2018', periods=5, freq='D')
df_3['item'] = 3
df_3['sales']= 4

df = pd.concat([df_1, df_2, df_3])
df = df.sort_values(['item'])
df

结果数据框：

    date    item    sales
0   2018-01-01  1   2
1   2018-01-02  1   2
2   2018-01-03  1   2
3   2018-01-04  1   2
4   2018-01-05  1   2
0   2018-01-01  2   3
1   2018-01-02  2   3
2   2018-01-03  2   3
3   2018-01-04  2   3
4   2018-01-05  2   3
0   2018-01-01  3   4
1   2018-01-02  3   4
2   2018-01-03  3   4
3   2018-01-04  3   4
4   2018-01-05  3   4

我想计算给定时间窗口内给定项目的“销售额”总和。我不能使用 pandas rolling.sum 因为时间序列很稀疏（例如 2018-01-01 > 2018-01-04 > 2018-01-06 > 等）。

我已经尝试过这个解决方案（时间窗口 = 2 天）：

df['start_date'] = df['date'] - timedelta(3)
df['end_date'] = df['date'] - timedelta(1)
df['rolled_sales'] = df.apply(lambda x: df.loc[(df.date >= x.start_date) & 
                                            (df.date <= x.end_date), 'sales'].sum(), axis=1)

但结果是给定时间窗口内所有商品的销售额总和：

    date    item    sales   start_date  end_date    rolled_sales
0   2018-01-01  1   2   2017-12-29  2017-12-31  0
1   2018-01-02  1   2   2017-12-30  2018-01-01  9
2   2018-01-03  1   2   2017-12-31  2018-01-02  18
3   2018-01-04  1   2   2018-01-01  2018-01-03  27
4   2018-01-05  1   2   2018-01-02  2018-01-04  27
0   2018-01-01  2   3   2017-12-29  2017-12-31  0
1   2018-01-02  2   3   2017-12-30  2018-01-01  9
2   2018-01-03  2   3   2017-12-31  2018-01-02  18
3   2018-01-04  2   3   2018-01-01  2018-01-03  27
4   2018-01-05  2   3   2018-01-02  2018-01-04  27
0   2018-01-01  3   4   2017-12-29  2017-12-31  0
1   2018-01-02  3   4   2017-12-30  2018-01-01  9
2   2018-01-03  3   4   2017-12-31  2018-01-02  18
3   2018-01-04  3   4   2018-01-01  2018-01-03  27
4   2018-01-05  3   4   2018-01-02  2018-01-04  27

我的目标是分别为每个项目计算rolled_sales，如下所示：

    date    item    sales   start_date  end_date    rolled_sales
0   2018-01-01  1   2   2017-12-29  2017-12-31  0
1   2018-01-02  1   2   2017-12-30  2018-01-01  2
2   2018-01-03  1   2   2017-12-31  2018-01-02  4
3   2018-01-04  1   2   2018-01-01  2018-01-03  6
4   2018-01-05  1   2   2018-01-02  2018-01-04  8
0   2018-01-01  2   3   2017-12-29  2017-12-31  0
1   2018-01-02  2   3   2017-12-30  2018-01-01  3
2   2018-01-03  2   3   2017-12-31  2018-01-02  6
3   2018-01-04  2   3   2018-01-01  2018-01-03  9
4   2018-01-05  2   3   2018-01-02  2018-01-04  12
0   2018-01-01  3   4   2017-12-29  2017-12-31  0
1   2018-01-02  3   4   2017-12-30  2018-01-01  4
2   2018-01-03  3   4   2017-12-31  2018-01-02  8
3   2018-01-04  3   4   2018-01-01  2018-01-03  12
4   2018-01-05  3   4   2018-01-02  2018-01-04  16

我尝试应用此处建议的解决方案：Pandas rolling sum for multiply values separately 但失败了。

有什么想法吗？

提前非常感谢:)

安迪

【问题讨论】：

df.groupby('item').rolling('2D', on='date').sales.sum() 不适合您？

是的，它有效。非常感谢 :) 安迪

【参考方案1】：

每件商品 2 天滚动窗口的总销售额：

z = df.sort_values('date').set_index('date').groupby('item').rolling('2d')['sales'].sum()

输出：

item  date      
1     2018-01-01    2.0
      2018-01-02    4.0
      2018-01-03    4.0
      2018-01-04    4.0
      2018-01-05    4.0
2     2018-01-01    3.0
      2018-01-02    6.0
      2018-01-03    6.0
      2018-01-04    6.0
      2018-01-05    6.0
3     2018-01-01    4.0
      2018-01-02    8.0
      2018-01-03    8.0
      2018-01-04    8.0
      2018-01-05    8.0
Name: sales, dtype: float64

每件商品过去 2 天的总销售额：

df[df.groupby('item').cumcount() < 2 ].groupby('item').sum()

每件商品在 start_date 和 end_date 之间的总销售额：

start_date = pd.to_datetime('2017-12-2')
end_date = pd.to_datetime('2018-12-2')
df[df['date'].between(start_date, end_date)].groupby('item')['sales'].sum()

【讨论】：

nope :(。我不想有固定的日期，而是给定大小的滚动窗口（在我的情况下为 7 天）。一般的想法是计算每个项目和给定的日期，前 7 天的总销售额。

我已经更新了答案，但如果仍然不匹配，请提供完整的输出示例。

【参考方案2】：

df['rolled_sum'] = (df.groupby('item')
                    .rolling('3D', on='date').sum()['sales']
                    .to_numpy()
                  )

经过一些数据整理（我删除了一些行以模拟稀疏日期，并添加了距给定日期 3 天距离的辅助列“start_date”和“end_date”），最终输出如下所示：

    date    item    sales   start_date  end_date    rolled_sum
0   2018-01-01  1   2   2017-12-30  2018-01-01  2.0
3   2018-01-04  1   2   2018-01-02  2018-01-04  2.0
4   2018-01-05  1   2   2018-01-03  2018-01-05  4.0
7   2018-01-08  1   2   2018-01-06  2018-01-08  2.0
9   2018-01-10  1   2   2018-01-08  2018-01-10  4.0
12  2018-01-03  2   3   2018-01-01  2018-01-03  3.0
13  2018-01-04  2   3   2018-01-02  2018-01-04  6.0
15  2018-01-06  2   3   2018-01-04  2018-01-06  6.0
17  2018-01-08  2   3   2018-01-06  2018-01-08  6.0
18  2018-01-09  2   3   2018-01-07  2018-01-09  6.0
19  2018-01-10  2   3   2018-01-08  2018-01-10  9.0
21  2018-01-02  3   4   2017-12-31  2018-01-02  4.0
23  2018-01-04  3   4   2018-01-02  2018-01-04  8.0
25  2018-01-06  3   4   2018-01-04  2018-01-06  8.0
26  2018-01-07  3   4   2018-01-05  2018-01-07  8.0
27  2018-01-08  3   4   2018-01-06  2018-01-08  12.0
28  2018-01-09  3   4   2018-01-07  2018-01-09  12.0
29  2018-01-10  3   4   2018-01-08  2018-01-10  12.0

神奇之处在于 rolling.sum 参数：我应该使用“3D”而不是“3”。

非常感谢您的帮助:)

安迪