Pandas:交换一个数据框中的特定列值并计算其加权平均值
Posted
技术标签:
【中文标题】Pandas:交换一个数据框中的特定列值并计算其加权平均值【英文标题】:Pandas: Swapping specific column values within one Dataframe and calculate its weighted averages 【发布时间】:2021-01-07 01:29:23 【问题描述】:存在以下数据框:
year | pop0 | pop1 | city0 | city1 |
---|---|---|---|---|
2019 | 20 | 40 | Malibu | NYC |
2018 | 8 | 60 | Sydney | Dublin |
2018 | 36 | 23 | NYC | Malibu |
2020 | 17 | 44 | Malibu | NYC |
2019 | 5 | 55 | Sydney | Dublin |
我想将每个城市对的人口加权平均值计算为一个新列。例如,w_mean
代表 Malibu / NYC = (23+20+17)/(36+40+44) = 0.5。
以下是所需的输出:
year | pop0 | pop1 | city0 | city1 | w_mean |
---|---|---|---|---|---|
2018 | 23 | 36 | Malibu | NYC | 0.5 |
2019 | 20 | 40 | Malibu | NYC | 0.5 |
2020 | 17 | 44 | Malibu | NYC | 0.5 |
2018 | 8 | 60 | Sydney | Dublin | 0.113 |
2019 | 5 | 55 | Sydney | Dublin | 0.113 |
我已经按列对数据框进行了排序,但是在将第 3 行从 NYC/Malibu 交换到 Malibu/NYC 的人口时遇到问题。除此之外,我只能为每一行计算w_mean
,但不能为每一组计算。我尝试了groupby().mean()
,但没有得到任何有用的输出。
当前代码:
import pandas as pd
data = pd.DataFrame('year': ["2019", "2018", "2018", "2020", "2019"], 'pop0': [20,8,36,17,5], 'pop1': [40,60,23,44,55], 'city0': ['Malibu','Sydney','NYC','Malibu','Sydney'], 'city1': ['NYC','Dublin','Malibu','NYC','Dublin'])
new = data.sort_values(by=['city0', 'city1'])
new['w_mean'] = new.apply(lambda row: row.pop0 / row.pop1, axis=1)
print(new)
【问题讨论】:
如何确定哪个城市是city0,哪个是city1?例如,如果悉尼和都柏林交换位置,则 w_mean 将为 8.846。 确实如此。另一种可能性是将相同城市对的值相加并插入两个新列(sum_pop0 和 sum_pop1) 【参考方案1】:你可以做的是创建一个(city, population)
的创建元组,将两个元组连续放入一个列表中,然后对其进行排序。通过对所有行执行此操作,您可以提取新的城市和人口(按城市字母顺序排序)。这可以按如下方式完成:
cities = [sorted([(e[0], e[1]), (e[2], e[3])]) for e in data[['city0','pop0','city1','pop1']].values]
data[['city0', 'pop0']] = [e[0] for e in cities]
data[['city1', 'pop1']] = [e[1] for e in cities]
结果数据框:
year pop0 pop1 city0 city1
0 2019 20 40 Malibu NYC
1 2018 60 8 Dublin Sydney
2 2018 23 36 Malibu NYC
3 2020 17 44 Malibu NYC
4 2019 55 5 Dublin Sydney
现在,mean_w
列可以使用 groupby
和 transform
创建两个和然后按如下方式除:
data[['pop0_sum', 'pop1_sum']] = data.groupby(['city0', 'city1'])[['pop0', 'pop1']].transform('sum')
data['w_mean'] = data['pop0_sum'] / data['pop1_sum']
结果:
year pop0 pop1 city0 city1 pop0_sum pop1_sum w_mean
0 2019 20 40 Malibu NYC 60 120 0.500000
1 2018 60 8 Dublin Sydney 115 13 8.846154
2 2018 23 36 Malibu NYC 60 120 0.500000
3 2020 17 44 Malibu NYC 60 120 0.500000
4 2019 55 5 Dublin Sydney 115 13 8.846154
现在可以删除任何额外的列。
如果生成的 w_mean
列应始终小于零,则可以按如下方式进行最后一次除法:
data['w_mean'] = np.where(data['pop0_sum'] > data['pop1_sum'], data['pop1_sum'] / data['pop0_sum'], data['pop0_sum'] / data['pop1_sum'])
这将为马里布和纽约市的一对提供0.5
,为都柏林和悉尼提供0.113043
。
【讨论】:
以上是关于Pandas:交换一个数据框中的特定列值并计算其加权平均值的主要内容,如果未能解决你的问题,请参考以下文章