Pandas DataFrame Groupby 两列并获取计数

Posted 2023-02-16

【中文标题】Pandas DataFrame Groupby 两列并获取计数

【英文标题】：Pandas DataFrame Groupby two columns and get counts

【发布时间】：2013-07-14 18:49:22

【问题描述】：

我有一个以下格式的熊猫数据框：

df = pd.DataFrame([[1.1, 1.1, 1.1, 2.6, 2.5, 3.4,2.6,2.6,3.4,3.4,2.6,1.1,1.1,3.3], list('AAABBBBABCBDDD'), [1.1, 1.7, 2.5, 2.6, 3.3, 3.8,4.0,4.2,4.3,4.5,4.6,4.7,4.7,4.8], ['x/y/z','x/y','x/y/z/n','x/u','x','x/u/v','x/y/z','x','x/u/v/b','-','x/y','x/y/z','x','x/u/v/w'],['1','3','3','2','4','2','5','3','6','3','5','1','1','1']]).T
df.columns = ['col1','col2','col3','col4','col5']

df:

   col1 col2 col3     col4 col5
0   1.1    A  1.1    x/y/z    1
1   1.1    A  1.7      x/y    3
2   1.1    A  2.5  x/y/z/n    3
3   2.6    B  2.6      x/u    2
4   2.5    B  3.3        x    4
5   3.4    B  3.8    x/u/v    2
6   2.6    B    4    x/y/z    5
7   2.6    A  4.2        x    3
8   3.4    B  4.3  x/u/v/b    6
9   3.4    C  4.5        -    3
10  2.6    B  4.6      x/y    5
11  1.1    D  4.7    x/y/z    1
12  1.1    D  4.7        x    1
13  3.3    D  4.8  x/u/v/w    1

现在我想按如下两列对它进行分组：

df.groupby(['col5','col2']).reset_index()

输出：

             index col1 col2 col3     col4 col5
col5 col2                                      
1    A    0      0  1.1    A  1.1    x/y/z    1
     D    0     11  1.1    D  4.7    x/y/z    1
          1     12  1.1    D  4.7        x    1
          2     13  3.3    D  4.8  x/u/v/w    1
2    B    0      3  2.6    B  2.6      x/u    2
          1      5  3.4    B  3.8    x/u/v    2
3    A    0      1  1.1    A  1.7      x/y    3
          1      2  1.1    A  2.5  x/y/z/n    3
          2      7  2.6    A  4.2        x    3
     C    0      9  3.4    C  4.5        -    3
4    B    0      4  2.5    B  3.3        x    4
5    B    0      6  2.6    B    4    x/y/z    5
          1     10  2.6    B  4.6      x/y    5
6    B    0      8  3.4    B  4.3  x/u/v/b    6

我想按每一行获取计数，如下所示。 预期输出：

col5 col2 count
1    A      1
     D      3
2    B      2
etc...

如何获得我的预期输出？我想找到每个 'col2' 值的最大计数？

【问题讨论】：

昨天刚刚出现了一个非常相似的问题。请参阅here。

性能说明，包括替代方案：Pandas groupby.size vs series.value_counts vs collections.Counter with multiple series

顺便说一句：你如何产生 GroubBy 输出？

@buhtz 说接种疫苗：你的问题不清楚？

【参考方案1】：

只使用单个 groupby 的惯用解决方案

(df.groupby(['col5', 'col2']).size() 
   .sort_values(ascending=False) 
   .reset_index(name='count') 
   .drop_duplicates(subset='col2'))

  col5 col2  count
0    3    A      3
1    1    D      3
2    5    B      2
6    3    C      1

说明

groupby size 方法的结果是一个带有col5 和col2 在索引中的系列。从这里，您可以使用另一种 gr​​oupby 方法来查找 col2 中每个值的最大值，但这不是必须的。您可以简单地对所有值进行降序排序，然后使用drop_duplicates 方法仅保留第一次出现col2 的行。

【讨论】：

当前版本的pandas中reset_index()中没有名为name的参数：pandas.pydata.org/pandas-docs/stable/generated/…

pandas.pydata.org/pandas-docs/stable/generated/…

好吧，我的错。我在使用 DataFrame 而不是 Series 时使用它。感谢您的链接。

注意：.drop_duplicates(subset='col2')) 仅用于回答第二个问题：And I want to find the largest count for each 'col2' value?，因此将删除计数值较小的重复项。

【参考方案2】：

将数据插入熊猫数据框并提供列名。

import pandas as pd
df = pd.DataFrame([['A','C','A','B','C','A','B','B','A','A'], ['ONE','TWO','ONE','ONE','ONE','TWO','ONE','TWO','ONE','THREE']]).T
df.columns = [['Alphabet','Words']]
print(df)   #printing dataframe.

这是我们打印出来的数据：

为了在熊猫和计数器中制作一组数据框， 您需要再提供一列来计算分组，我们将该列称为 "COUNTER" in dataframe。

像这样：

df['COUNTER'] =1       #initially, set that counter to 1.
group_data = df.groupby(['Alphabet','Words'])['COUNTER'].sum() #sum function
print(group_data)

输出：

【讨论】：

我怎样才能让字母列（例如A）在下面重复而不在第一列中留下空白？？

如何获取每个组的值，它是基于字母和单词的总和？

列名应该分配一个平面列表：df.columns = ['Alphabet','Words']

不让字母列中的空白只需添加 .reset_index() 到最后，所以group_data = df.groupby(['Alphabet','Words'])['COUNTER'].sum().reset_index()

【参考方案3】：

您是否想在数据框中添加一个包含组计数的新列（例如“count_column”）：

df.count_column=df.groupby(['col5','col2']).col5.transform('count')

（我选择了“col5”，因为它不包含 nan）

【参考方案4】：

您可以只使用内置函数count，然后使用groupby函数

df.groupby(['col5','col2']).count()

【参考方案5】：

您正在寻找size:

In [11]: df.groupby(['col5', 'col2']).size()
Out[11]:
col5  col2
1     A       1
      D       3
2     B       2
3     A       3
      C       1
4     B       1
5     B       2
6     B       1
dtype: int64

---

要得到与waitingkuo（“第二个问题”）相同的答案，但稍微干净一点，就是按级别分组：

In [12]: df.groupby(['col5', 'col2']).size().groupby(level=1).max()
Out[12]:
col2
A       3
B       2
C       1
D       3
dtype: int64

【讨论】：

我不知道为什么我忘记了这个：O，我的第二个问题怎么样？找到每个“col2”值的最大计数并获得相应的“col5”值？

【参考方案6】：

在@Andy 的回答之后，您可以执行以下操作来解决您的第二个问题：

In [56]: df.groupby(['col5','col2']).size().reset_index().groupby('col2')[[0]].max()
Out[56]: 
      0
col2   
A     3
B     2
C     1
D     3

【讨论】：

我能得到像 C...1...3 这样的“col5”值吗？