如何在 pandas/numpy 中将值扩展到下一个非空值？ [复制]

Posted 2023-03-11

【中文标题】如何在 pandas/numpy 中将值扩展到下一个非空值？ [复制]

【英文标题】：How to extend values to next non-null in pandas/numpy? [duplicate]

【发布时间】：2018-05-17 07:41:36

【问题描述】：

我有一个像这样的Series：

>>> s = pd.Series([1,0,0,3,0,5,0,0,0])
>>> s[s==0] = pd.np.nan
>>> s
0    1.0
1    NaN
2    NaN
3    3.0
4    NaN
5    5.0
6    NaN
7    NaN
8    NaN
dtype: float64

我想“扩展”这些值，如下所示：

>>> t = s.shift()
>>> for _ in range(100000):
...     s[s.isnull()] = t
...     if not s.isnull().any():
...             break
...     t = t.shift()
...
>>> s
0    1.0
1    1.0
2    1.0
3    3.0
4    3.0
5    5.0
6    5.0
7    5.0
8    5.0
dtype: float64

但我想要一些更加矢量化和高效的东西。我该怎么做？

【参考方案1】：

您正在寻找fillna:

>>> s.fillna(method='ffill')
0    1.0
1    1.0
2    1.0
3    3.0
4    3.0
5    5.0
6    5.0
7    5.0
8    5.0
dtype: float64
>>>

【参考方案2】：

基于np.maximum.accumulate的NumPy前向填充-

def numpy_ffill(s):
    arr = s.values
    mask = np.isnan(arr)
    idx = np.where(~mask,np.arange(len(mask)),0)
    out = arr[np.maximum.accumulate(idx)]
    return pd.Series(out)

示例运行 -

In [41]: s
Out[41]: 
0    1.0
1    NaN
2    NaN
3    3.0
4    NaN
5    5.0
6    NaN
7    NaN
8    NaN
dtype: float64

In [42]: numpy_ffill(s)
Out[42]: 
0    1.0
1    1.0
2    1.0
3    3.0
4    3.0
5    5.0
6    5.0
7    5.0
8    5.0
dtype: float64

【讨论】：

谢天谢地，pandas 有时给了我们一定程度的抽象 :)

@roganjosh 是的，对于系列来说，pandas 方法在性能方面做得相当不错。