从 Pandas 中的滚动窗口生成值组合

Posted 2023-03-31

【中文标题】从 Pandas 中的滚动窗口生成值组合

【英文标题】：Generate combinations of values from rolling window in Pandas

【发布时间】：2018-11-22 07:24:34

【问题描述】：

对于我的数据框中的每一行，我需要创建列 a 的两个值的每个组合，从以该行结束的为期三天的滑动窗口。我的数据框是这样的：

import pandas as pd    
df = pd.DataFrame('a': [1, 2, 3, 4, 5],
                   index=[pd.Timestamp('20180101'),
                          pd.Timestamp('20180102'),
                          pd.Timestamp('20180103'),
                          pd.Timestamp('20180105'),
                          pd.Timestamp('20180106')])

请注意，时间索引参差不齐（行之间的间隔不一致）。组合应该是：

row0: None
row1: [(1, 2)]
row2: [(1, 2), (1, 3), (2, 3)]
row4: [(3, 4)]
row5: [(4, 5)]

我可以很容易地做到这一点没有窗口，只需使用itertools.combinations 生成列a 的两个元素的每个组合：

import itertools as it
combos = it.combinations(df['a'], 2)
for c in combos:
    print(c)
# (1, 2)
# (1, 3)
# (1, 4)
# (1, 5)
# etc.

但我的应用程序需要窗口版本。到目前为止，我最好的选择是使用df.rolling。我可以做一些简单的事情，比如在三天的窗口中对元素求和：

df.rolling('3d').sum()
# get [1, 3, 6, 7, 9] which we expect

但我似乎无法在滚动窗口上执行更复杂的操作（或从操作中返回比实数更复杂的类型）。

---

问题

如何使用df.rolling 在滚动窗口上进行组合？还是有其他工具可以做到这一点？

---

尝试

到目前为止，我的想法是有一些方法可以使用 df.rolling 和 df.apply 以及 it.combinations 为我的数据框中的每个窗口生成迭代器，然后将该迭代器插入到我的数据框的新列中。比如：

df.rolling('3d').apply(lambda x: it.combinations(x, 2))

给出TypeError:

TypeError: 必须是实数，而不是 itertools.combinations

因为df.rolling.apply 要求它的参数返回单个实值，而不是对象，也不是列表。

我也试过直接在滚动窗口上使用it.combinations：

it.combinations(df.rolling('3d'), 2)

给出：

KeyError: '未找到列：0'

如果我明确选择列a：

it.combinations(df.rolling('3d')['a'], 2)

我明白了：

例外：已选择的列

那么有没有办法定义一个函数，我可以用df.apply 调用它，将滚动窗口上的迭代器插入数据帧每一行的新列中？我什至可以在传递给apply 的函数中对当前行以外的行进行操作吗？

【参考方案1】：

好的，这是一个 hack，但它可能有用。

我们要做的就是重用 df.rolling 的窗口工具。我们可以尝试查看代码的一些非公开部分，但我们可以利用这样一个事实，即我们可以在返回浮点数之前强制在 apply 内部调用函数：

In [28]: dummy = df.rolling("3d")["a"].apply((lambda x: print(x) or 0), raw=False)
2018-01-01    1.0
dtype: float64
2018-01-01    1.0
2018-01-02    2.0
dtype: float64
2018-01-01    1.0
2018-01-02    2.0
2018-01-03    3.0
dtype: float64
2018-01-03    3.0
2018-01-05    4.0
dtype: float64
2018-01-05    4.0
2018-01-06    5.0
dtype: float64

所以：

In [29]: roll_slices = []

In [30]: dummy = df.rolling("3d")["a"].apply((lambda x: roll_slices.append(list(combinations(x, 2))) or 0), raw=False)

In [31]: roll_slices
Out[31]: 
[[],
 [(1.0, 2.0)],
 [(1.0, 2.0), (1.0, 3.0), (2.0, 3.0)],
 [(3.0, 4.0)],
 [(4.0, 5.0)]]

之后你就可以做你喜欢的事了。

【讨论】：

哇！在侧滚动应用中附加到列表。好的。 +1

我收到TypeError: apply() got an unexpected keyword argument 'raw'，我认为是因为被调用的是pandas.core.window.Rolling.apply() 方法，而不是pandas.DataFrame.apply() 方法。有什么想法吗？

您可能使用的是旧版本的 pandas。如果您只是放弃raw=False，它是否有效？ （我只是让它在 0.19.2 中运行，这是我手头上最旧的版本，以及 0.23.0，我目前正在使用的版本。）

只是一个注释（不在问题陈述中，但我想我会在这里添加它），如果我只想要 unique 组合，我可以使用你的想法但是定义roll_slices = set()，然后定义df.rolling('3d')['a'].apply(lambda x: roll_slices.update(it.combinations(x, 2)) or 0)。好主意！