如何计算熊猫数据框中子组内项目的成对出现？

Posted 2023-02-25

【中文标题】如何计算熊猫数据框中子组内项目的成对出现？

【英文标题】：How to count paired occurence of items within subgroups in a pandas dataframe?

【发布时间】：2021-01-09 13:57:30

【问题描述】：

假设我有一个像这样的数据框：

import pandas as pd
data = 'group':  ['a', 'a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'c', 'c', 'c'],
        'item': ['Apple', 'Chocolate', 'Beans', 'Apple', 'Beans', 'Banana', 'Banana', 'Chocolate', 'Banana', 'Orange', 'Apple', 'Apple' ]


df = pd.DataFrame(data, columns = ['group','item'])
df

0   a   Apple
1   a   Chocolate
2   a   Beans
3   a   Apple
4   b   Beans
5   b   Banana
6   b   Banana
7   c   Chocolate
8   c   Banana
9   c   Orange
10  c   Apple
11  c   Apple
        

如何计算组内成对出现的总数？

我想获得一个表格，其中包含组中出现的每个项目组合并获得它们的频率。如果一个组中有两个相同的项目，我想保持项目与自身的组合，但仅在与其他项目匹配时才算作一个。

理想情况下，我希望在轴、行和列上都包含项目名称的数据框，并且矩阵的一半具有相应的值。

在一列中组合并在另一列中包含值的数据框也可以完美地完成。

上面的例子会翻译成这样：

apple - chocolate   2
apple - apple       2
apple - beans       1
apple - Orange      1
apple - Banana      1
chocolate - Beans   1
beans - banana      1
banana - banana     1
chocolate - banana  1
chocolate - orange  1
banana - orange     1

所以我想我会先使用不重复的组合和计数器，然后再添加匹配自己的项目。原因是避免为同一组下的多个项目组合计算多个匹配项。然而，当我尝试这个时，一些组合以不同的顺序出现两次，例如苹果 - 巧克力和巧克力 - 苹果。这是我的代码：

from collections import Counter
from itertools import combinations
df = df.groupby('group').filter(lambda g: len(g) > 1).drop_duplicates(subset=['group', 'item'], keep="first")

result = df.groupby(['group']).agg(lambda g: list(set(combinations(g, 2))))

combos = pd.DataFrame(Counter(result.item.sum()).items(), columns=['combos', 'count'])
combos 

     combos                 count
0   (Apple, Beans)          1
1   (Apple, Chocolate)      1
2   (Chocolate, Beans)      1
3   (Beans, Banana)         1
4   (Chocolate, Orange)     1
5   (Orange, Apple)         1
6   (Banana, Orange)        1
7   (Banana, Apple)         1
8   (Chocolate, Banana)     1
9   (Chocolate, Apple)      1

请帮帮我！

【参考方案1】：

对您的代码稍加调整即可解决您的问题

## No need to drop to duplicates as you create a set of the combinations, so they won't be counted twice
# df = df.groupby('group').filter(lambda g: len(g) > 1).drop_duplicates(subset=['group', 'item'], keep="first")

## Sorted g, so the problem with tuples that are ordered differently is solved
result = df.groupby(['group']).agg(lambda g: list(set(combinations(sorted(g), 2))))

combos = pd.DataFrame(Counter(result.item.sum()).items(), columns=['combos', 'count'])
combos 

                 combos  count
0        (Apple, Beans)      1
1    (Beans, Chocolate)      1
2        (Apple, Apple)      2
3    (Apple, Chocolate)      2
4      (Banana, Banana)      1
5       (Banana, Beans)      1
6       (Apple, Banana)      1
7      (Banana, Orange)      1
8       (Apple, Orange)      1
9   (Chocolate, Orange)      1
10  (Banana, Chocolate)      1

用##标记我的更改

您当然可以使用

轻松排序结果

combos.sort_values('count', ascending=False)

【讨论】：

非常感谢！！这正是我一直在寻找的答案！

请注意您的数据中有多余的空间，'b'