如何更快地迭代 DataFrame 中的行？

Posted 2023-03-12

【中文标题】如何更快地迭代 DataFrame 中的行？

【英文标题】：How to iterate faster over rows in a DataFrame?

【发布时间】：2021-07-09 17:01:31

【问题描述】：

我有一个来自 Pandas 的 DataFrame：

import pandas as pd
data = ['c1':'aaa', 'c2':100, 'c3': 99, 'c4': 0, 'c1':'bbb','c2':110, 'c3': 89, 'c4': 0, 
'c1':'aaa','c2':NaN,'c3': 93, 'c4': 0,'c1':'ccc', 'c2':130,'c3': 77, 'c4': 0, 
'c1':'ddd','c2':140,'c3': 54, 'c4': 0, 'c1':'bbb','c2':NaN,'c3': 76, 'c4': 0,
'c1':'ddd', 'c2':NaN,'c3': 75, 'c4': 0]
df = pd.DataFrame(data)
print df

输出：

   c1    c2   c3  c4
0 'aaa'  100  99  0
1 'bbb'  110  89  0
2 'aaa'  100  93  0
3 'ccc'  130  77  0
4 'ddd'  140  54  0
5 'bbb'  110  76  0
6 'ddd'  140  75  0

现在，我希望对于与列 c1 匹配的每一行，将列 c4 设置为等于与第一个字段匹配的另一行的列 c2。结果：

   c1    c2   c3  c4
0 'aaa'  100  99  0
1 'bbb'  110  89  0
2 'aaa'  100  93  100
3 'ccc'  130  77  0
4 'ddd'  140  54  0
5 'bbb'  110  76  110
6 'ddd'  140  75  140

这个数据框是一个例子，真正的数据框有更多的列和更多的行（大约 400 万）。我最初的想法是这样的：

for index, row in df.iterrows(): 
    df[df.c1==row.c1].iloc[1].c4= row.c2

只能有另一个匹配的行。显然，使用 iterrows 的过程非常缓慢。

【问题讨论】：

不要重复，df.groupby("c1")['c2'].ffill() 我认为会这样做

我更新了问题...

【参考方案1】：

根据您的最新编辑，您可以使用 df.groupby 填充，然后使用 shift 将值在组之后向下移动 1 行：

df['c4'] = df.groupby("c1")['c2'].shift().fillna(df['c4'])

---

      c1   c2  c3     c4
0  'aaa'  100  99    0.0
1  'bbb'  110  89    0.0
2  'aaa'  100  93  100.0
3  'ccc'  130  77    0.0
4  'ddd'  140  54    0.0
5  'bbb'  110  76  110.0
6  'ddd'  140  75  140.0