如何旋转数据框？

Posted

技术标签:

【中文标题】如何旋转数据框？【英文标题】：How can I pivot a dataframe? 【发布时间】：2019-11-14 05:07:23 【问题描述】： 什么是枢轴？ 如何进行转轴？ 这是一个支点吗？ 长格式转宽格式？

我看到很多关于数据透视表的问题。即使他们不知道他们在询问数据透视表，他们通常也是如此。几乎不可能编写一个涵盖旋转所有方面的规范问题和答案......

...但我要试一试。

现有问题和答案的问题在于，问题通常集中在 OP 难以概括以使用许多现有的好答案的细微差别上。但是，没有一个答案试图给出全面的解释（因为这是一项艰巨的任务）

看看我Google Search的几个例子

    How to pivot a dataframe in Pandas?
很好的问答。但答案只回答了具体问题，几乎没有解释。
    pandas pivot table to data frame
在这个问题中，OP 关注枢轴的输出。即列的外观。 OP 希望它看起来像 R。这对 pandas 用户不是很有帮助。
    pandas pivoting a dataframe, duplicate rows
另一个体面的问题，但答案集中在一种方法上，即pd.DataFrame.pivot

因此，每当有人搜索 pivot 时，他们会得到零星的结果，这些结果可能无法回答他们的具体问题。

设置

您可能会注意到，我明显地命名了我的列和相关列值，以符合我将如何在下面的答案中进行透视。

import numpy as np
import pandas as pd
from numpy.core.defchararray import add

np.random.seed([3,1415])
n = 20

cols = np.array(['key', 'row', 'item', 'col'])
arr1 = (np.random.randint(5, size=(n, 4)) // [2, 1, 2, 1]).astype(str)

df = pd.DataFrame(
    add(cols, arr1), columns=cols
).join(
    pd.DataFrame(np.random.rand(n, 2).round(2)).add_prefix('val')
)
print(df)

     key   row   item   col  val0  val1
0   key0  row3  item1  col3  0.81  0.04
1   key1  row2  item1  col2  0.44  0.07
2   key1  row0  item1  col0  0.77  0.01
3   key0  row4  item0  col2  0.15  0.59
4   key1  row0  item2  col1  0.81  0.64
5   key1  row2  item2  col4  0.13  0.88
6   key2  row4  item1  col3  0.88  0.39
7   key1  row4  item1  col1  0.10  0.07
8   key1  row0  item2  col4  0.65  0.02
9   key1  row2  item0  col2  0.35  0.61
10  key2  row0  item2  col1  0.40  0.85
11  key2  row4  item1  col2  0.64  0.25
12  key0  row2  item2  col3  0.50  0.44
13  key0  row4  item1  col4  0.24  0.46
14  key1  row3  item2  col3  0.28  0.11
15  key0  row3  item1  col1  0.31  0.23
16  key0  row0  item2  col3  0.86  0.01
17  key0  row4  item0  col3  0.64  0.21
18  key2  row2  item2  col0  0.13  0.45
19  key0  row2  item0  col4  0.37  0.70

问题

    为什么我得到ValueError: Index contains duplicate entries, cannot reshape

    我如何旋转df 使得col 值是列，row 值是索引，val0 的平均值是值？

     col   col0   col1   col2   col3  col4
 row
 row0  0.77  0.605    NaN  0.860  0.65
 row2  0.13    NaN  0.395  0.500  0.25
 row3   NaN  0.310    NaN  0.545   NaN
 row4   NaN  0.100  0.395  0.760  0.24

    我如何旋转 df 使得 col 值是列，row 值是索引，val0 的平均值是值，而缺失值是 0？

     col   col0   col1   col2   col3  col4
 row
 row0  0.77  0.605  0.000  0.860  0.65
 row2  0.13  0.000  0.395  0.500  0.25
 row3  0.00  0.310  0.000  0.545  0.00
 row4  0.00  0.100  0.395  0.760  0.24

    我可以得到mean以外的其他东西，比如sum吗？

     col   col0  col1  col2  col3  col4
 row
 row0  0.77  1.21  0.00  0.86  0.65
 row2  0.13  0.00  0.79  0.50  0.50
 row3  0.00  0.31  0.00  1.09  0.00
 row4  0.00  0.10  0.79  1.52  0.24

    我可以一次做多个聚合吗？

            sum                          mean
 col   col0  col1  col2  col3  col4  col0   col1   col2   col3  col4
 row
 row0  0.77  1.21  0.00  0.86  0.65  0.77  0.605  0.000  0.860  0.65
 row2  0.13  0.00  0.79  0.50  0.50  0.13  0.000  0.395  0.500  0.25
 row3  0.00  0.31  0.00  1.09  0.00  0.00  0.310  0.000  0.545  0.00
 row4  0.00  0.10  0.79  1.52  0.24  0.00  0.100  0.395  0.760  0.24

    我可以聚合多个值列吗？

           val0                             val1
 col   col0   col1   col2   col3  col4  col0   col1  col2   col3  col4
 row
 row0  0.77  0.605  0.000  0.860  0.65  0.01  0.745  0.00  0.010  0.02
 row2  0.13  0.000  0.395  0.500  0.25  0.45  0.000  0.34  0.440  0.79
 row3  0.00  0.310  0.000  0.545  0.00  0.00  0.230  0.00  0.075  0.00
 row4  0.00  0.100  0.395  0.760  0.24  0.00  0.070  0.42  0.300  0.46

    可以多列细分吗？

     item item0             item1                         item2
 col   col2  col3  col4  col0  col1  col2  col3  col4  col0   col1  col3  col4
 row
 row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.605  0.86  0.65
 row2  0.35  0.00  0.37  0.00  0.00  0.44  0.00  0.00  0.13  0.000  0.50  0.13
 row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.000  0.28  0.00
 row4  0.15  0.64  0.00  0.00  0.10  0.64  0.88  0.24  0.00  0.000  0.00  0.00

    或者

     item      item0             item1                         item2
 col        col2  col3  col4  col0  col1  col2  col3  col4  col0  col1  col3  col4
 key  row
 key0 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.86  0.00
      row2  0.00  0.00  0.37  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.50  0.00
      row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.00  0.00  0.00
      row4  0.15  0.64  0.00  0.00  0.00  0.00  0.00  0.24  0.00  0.00  0.00  0.00
 key1 row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.81  0.00  0.65
      row2  0.35  0.00  0.00  0.00  0.00  0.44  0.00  0.00  0.00  0.00  0.00  0.13
      row3  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.28  0.00
      row4  0.00  0.00  0.00  0.00  0.10  0.00  0.00  0.00  0.00  0.00  0.00  0.00
 key2 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.40  0.00  0.00
      row2  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.13  0.00  0.00  0.00
      row4  0.00  0.00  0.00  0.00  0.00  0.64  0.88  0.00  0.00  0.00  0.00  0.00

    我可以汇总列和行一起出现的频率，也就是“交叉表”吗？

     col   col0  col1  col2  col3  col4
 row
 row0     1     2     0     1     1
 row2     1     0     2     1     2
 row3     0     1     0     2     0
 row4     0     1     2     2     1

    如何通过仅以两列为轴将 DataFrame 从长转换为宽？给定，

    np.random.seed([3, 1415])
df2 = pd.DataFrame('A': list('aaaabbbc'), 'B': np.random.choice(15, 8))
df2
   A   B
0  a   0
1  a  11
2  a   2
3  a  11
4  b  10
5  b  10
6  b  14
7  c   7

    预期应该看起来像

          a     b    c
0   0.0  10.0  7.0
1  11.0  10.0  NaN
2   2.0  14.0  NaN
3  11.0   NaN  NaN

    如何在pivot 之后将多个索引展平为单个索引？

    来自

       1  2
   1  1  2
a  2  1  1
b  2  1  0
c  1  0  0

    到

       1|1  2|1  2|2
a    2    1    1
b    2    1    0
c    1    0    0

【问题讨论】：

【参考方案1】：

我们从回答第一个问题开始：

问题 1

为什么我得到ValueError: Index contains duplicate entries, cannot reshape

出现这种情况是因为 pandas 试图重新索引具有重复条目的 columns 或 index 对象。可以使用多种方法来执行数据透视。其中一些不太适合当要求其旋转的键存在重复项时。例如。考虑pd.DataFrame.pivot。我知道有重复的条目共享 row 和 col 值：

df.duplicated(['row', 'col']).any()

True

所以当我pivot 使用时

df.pivot(index='row', columns='col', values='val0')

我收到上述错误。事实上，当我尝试执行相同的任务时，我得到了同样的错误：

df.set_index(['row', 'col'])['val0'].unstack()

这里是我们可以使用的习语列表

    pd.DataFrame.groupby + pd.DataFrame.unstack

    适用于几乎任何类型的枢轴的通用方法 您指定将构成一个分组依据的透视行级别和列级别的所有列。您可以通过选择要聚合的剩余列和要执行聚合的函数来遵循这一点。最后，您unstack 列索引中您想要的级别。

    pd.DataFrame.pivot_table

    groupby 的美化版本，具有更直观的 API。对于许多人来说，这是首选方法。并且是开发人员的预期方法。 指定行级别、列级别、要聚合的值以及执行聚合的函数。

    pd.DataFrame.set_index + pd.DataFrame.unstack

    对某些人（包括我自己）来说既方便又直观。无法处理重复的分组键。 类似于groupby 范式，我们指定最终将是行级别或列级别的所有列，并将它们设置为索引。然后我们unstack 列中我们想要的级别。如果剩余的索引级别或列级别不是唯一的，则此方法将失败。

    pd.DataFrame.pivot

    与set_index 非常相似，因为它共享重复密钥限制。 API 也非常有限。它只接受index、columns、values 的标量值。 与pivot_table 方法类似，我们选择要旋转的行、列和值。但是，我们无法聚合，如果行或列不是唯一的，则此方法将失败。

    pd.crosstab

    这是pivot_table 的专用版本，其最纯粹的形式是执行多项任务的最直观方式。

    pd.factorize + np.bincount

    这是一种非常先进的技术，非常晦涩难懂，但速度非常快。它不能在所有情况下都使用，但是当它可以使用并且您使用它感到舒适时，您将获得性能奖励。

    pd.get_dummies + pd.DataFrame.dot

    我用它来巧妙地执行交叉表。

示例

我将为每个后续答案和问题做的是使用pd.DataFrame.pivot_table 回答它。然后我将提供执行相同任务的替代方案。

问题 3

我如何旋转df 使得col 值是列，row 值是索引，val0 的平均值是值，而缺失值是 0？

pd.DataFrame.pivot_table

fill_value 默认未设置。我倾向于适当地设置它。在这种情况下，我将其设置为 0。请注意，我跳过了 问题 2，因为它与没有 fill_value

的答案相同

aggfunc='mean' 是默认值，我不必设置它。我把它包括在内是为了明确。

    df.pivot_table(
        values='val0', index='row', columns='col',
        fill_value=0, aggfunc='mean')

    col   col0   col1   col2   col3  col4
    row
    row0  0.77  0.605  0.000  0.860  0.65
    row2  0.13  0.000  0.395  0.500  0.25
    row3  0.00  0.310  0.000  0.545  0.00
    row4  0.00  0.100  0.395  0.760  0.24

pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)

pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='mean').fillna(0)

问题 4

我可以得到除mean之外的其他东西，比如sum吗？

pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc='sum')

  col   col0  col1  col2  col3  col4
  row
  row0  0.77  1.21  0.00  0.86  0.65
  row2  0.13  0.00  0.79  0.50  0.50
  row3  0.00  0.31  0.00  1.09  0.00
  row4  0.00  0.10  0.79  1.52  0.24

pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)

pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='sum').fillna(0)

问题 5

我可以一次做多个聚合吗？

请注意，对于pivot_table 和crosstab，我需要传递可调用对象列表。另一方面，groupby.agg 能够为有限数量的特殊功能获取字符串。 groupby.agg 也会采用我们传递给其他人的相同可调用对象，但利用字符串函数名称通常更有效，因为可以提高效率。

pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc=[np.size, np.mean])

       size                      mean
  col  col0 col1 col2 col3 col4  col0   col1   col2   col3  col4
  row
  row0    1    2    0    1    1  0.77  0.605  0.000  0.860  0.65
  row2    1    0    2    1    2  0.13  0.000  0.395  0.500  0.25
  row3    0    1    0    2    0  0.00  0.310  0.000  0.545  0.00
  row4    0    1    2    2    1  0.00  0.100  0.395  0.760  0.24

pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)

pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')

问题 6

我可以聚合多个值列吗？

pd.DataFrame.pivot_table 我们通过了values=['val0', 'val1']，但我们可以完全放弃它

  df.pivot_table(
      values=['val0', 'val1'], index='row', columns='col',
      fill_value=0, aggfunc='mean')

        val0                             val1
  col   col0   col1   col2   col3  col4  col0   col1  col2   col3  col4
  row
  row0  0.77  0.605  0.000  0.860  0.65  0.01  0.745  0.00  0.010  0.02
  row2  0.13  0.000  0.395  0.500  0.25  0.45  0.000  0.34  0.440  0.79
  row3  0.00  0.310  0.000  0.545  0.00  0.00  0.230  0.00  0.075  0.00
  row4  0.00  0.100  0.395  0.760  0.24  0.00  0.070  0.42  0.300  0.46

pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)

问题 7

可以多列细分吗？

pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns=['item', 'col'],
      fill_value=0, aggfunc='mean')

  item item0             item1                         item2
  col   col2  col3  col4  col0  col1  col2  col3  col4  col0   col1  col3  col4
  row
  row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.605  0.86  0.65
  row2  0.35  0.00  0.37  0.00  0.00  0.44  0.00  0.00  0.13  0.000  0.50  0.13
  row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.000  0.28  0.00
  row4  0.15  0.64  0.00  0.00  0.10  0.64  0.88  0.24  0.00  0.000  0.00  0.00

pd.DataFrame.groupby

  df.groupby(
      ['row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)

问题 8

可以多列细分吗？

pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index=['key', 'row'], columns=['item', 'col'],
      fill_value=0, aggfunc='mean')

  item      item0             item1                         item2
  col        col2  col3  col4  col0  col1  col2  col3  col4  col0  col1  col3  col4
  key  row
  key0 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.86  0.00
       row2  0.00  0.00  0.37  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.50  0.00
       row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.00  0.00  0.00
       row4  0.15  0.64  0.00  0.00  0.00  0.00  0.00  0.24  0.00  0.00  0.00  0.00
  key1 row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.81  0.00  0.65
       row2  0.35  0.00  0.00  0.00  0.00  0.44  0.00  0.00  0.00  0.00  0.00  0.13
       row3  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.28  0.00
       row4  0.00  0.00  0.00  0.00  0.10  0.00  0.00  0.00  0.00  0.00  0.00  0.00
  key2 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.40  0.00  0.00
       row2  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.13  0.00  0.00  0.00
       row4  0.00  0.00  0.00  0.00  0.00  0.64  0.88  0.00  0.00  0.00  0.00  0.00

pd.DataFrame.groupby

  df.groupby(
      ['key', 'row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)

pd.DataFrame.set_index 因为键集对于行和列都是唯一的

  df.set_index(
      ['key', 'row', 'item', 'col']
  )['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)

问题 9

我可以汇总列和行一起出现的频率，也就是“交叉表”吗？

pd.DataFrame.pivot_table

  df.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size')

      col   col0  col1  col2  col3  col4
  row
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1

pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)

pd.crosstab

  pd.crosstab(df['row'], df['col'])

pd.factorize + np.bincount

  # get integer factorization `i` and unique values `r`
  # for column `'row'`
  i, r = pd.factorize(df['row'].values)
  # get integer factorization `j` and unique values `c`
  # for column `'col'`
  j, c = pd.factorize(df['col'].values)
  # `n` will be the number of rows
  # `m` will be the number of columns
  n, m = r.size, c.size
  # `i * m + j` is a clever way of counting the
  # factorization bins assuming a flat array of length
  # `n * m`.  Which is why we subsequently reshape as `(n, m)`
  b = np.bincount(i * m + j, minlength=n * m).reshape(n, m)
  # BTW, whenever I read this, I think 'Bean, Rice, and Cheese'
  pd.DataFrame(b, r, c)

        col3  col2  col0  col1  col4
  row3     2     0     0     1     0
  row2     1     2     1     0     2
  row0     1     0     1     2     1
  row4     2     2     0     1     1

pd.get_dummies

  pd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col']))

        col0  col1  col2  col3  col4
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1

问题 10

如何通过仅以两个为轴将 DataFrame 从长转换为宽 列？

DataFrame.pivot

第一步是为每一行分配一个数字 - 这个数字将是该值在透视结果中的行索引。这是使用GroupBy.cumcount 完成的：

  df2.insert(0, 'count', df2.groupby('A').cumcount())
  df2

     count  A   B
  0      0  a   0
  1      1  a  11
  2      2  a   2
  3      3  a  11
  4      0  b  10
  5      1  b  10
  6      2  b  14
  7      0  c   7

第二步，将新创建的列作为索引调用DataFrame.pivot。

  df2.pivot(*df2)
  # df2.pivot(index='count', columns='A', values='B')

  A         a     b    c
  count
  0       0.0  10.0  7.0
  1      11.0  10.0  NaN
  2       2.0  14.0  NaN
  3      11.0   NaN  NaN

DataFrame.pivot_table

而DataFrame.pivot 只接受列，DataFrame.pivot_table 也接受数组，因此GroupBy.cumcount 可以直接作为index 传递而无需创建显式列。

  df2.pivot_table(index=df2.groupby('A').cumcount(), columns='A', values='B')

  A         a     b    c
  0       0.0  10.0  7.0
  1      11.0  10.0  NaN
  2       2.0  14.0  NaN
  3      11.0   NaN  NaN

问题 11

如何在pivot之后将多个索引展平为单个索引

如果columns 输入object 和字符串join

df.columns = df.columns.map('|'.join)

否则format

df.columns = df.columns.map('0[0]|0[1]'.format)

【讨论】：

你能考虑扩展official docs吗？ 问题 #10 的答案发生了什么？我得到KeyError: 'A'。还有更多的答案吗？ @MonicaHeddneck 我会再次审查并在必要时进行更新。但是，'A' 假设您的数据框中有一个列 'A' 要分组。 第10题的列不用插入，可以直接作为数据透视表中的参数传入 @MonicaHeddneck 我认为对df 的引用应该更改为df2。如果您像我一样关注 df 是较早创建的数据框。【参考方案2】：

扩展@piRSquared's answer另一个版本的Question 10

问题 10.1

数据帧：

d = data = 'A': 0: 1, 1: 1, 2: 1, 3: 2, 4: 2, 5: 3, 6: 5,
 'B': 0: 'a', 1: 'b', 2: 'c', 3: 'a', 4: 'b', 5: 'a', 6: 'c'
df = pd.DataFrame(d)

   A  B
0  1  a
1  1  b
2  1  c
3  2  a
4  2  b
5  3  a
6  5  c

输出：

   0     1     2
A
1  a     b     c
2  a     b  None
3  a  None  None
5  c  None  None

使用df.groupby 和pd.Series.tolist

t = df.groupby('A')['B'].apply(list)
out = pd.DataFrame(t.tolist(),index=t.index)
out
   0     1     2
A
1  a     b     c
2  a     b  None
3  a  None  None
5  c  None  None

或者 使用pd.pivot_table 和df.squeeze. 的更好选择

t = df.pivot_table(index='A',values='B',aggfunc=list).squeeze()
out = pd.DataFrame(t.tolist(),index=t.index)

【讨论】：

【参考方案3】：

要更好地了解 pivot 的工作原理，您可以查看 Pandas 文档中的 example：

df = pd.DataFrame(
    'foo': ['one', 'one', 'one', 'two', 'two', 'two'],
    'bar': ['A', 'B', 'C', 'A', 'B', 'C'],
    'baz': [1, 2, 3, 4, 5, 6],
    'zoo': ['x', 'y', 'z', 'q', 'w', 't']
)

输入表：

   foo bar  baz zoo
0  one   A    1   x
1  one   B    2   y
2  one   C    3   z
3  two   A    4   q
4  two   B    5   w
5  two   C    6   t

枢轴：

pd.pivot(
    data=df,        
    index='foo',    # Column to use to make new frame’s index. If None, uses existing index.
    columns='bar',  # Column to use to make new frame’s columns.
    values='baz'    # Column(s) to use for populating new frame’s values.
)

输出表：

bar  A  B  C
foo         
one  1  2  3
two  4  5  6

【讨论】：

以上是关于如何旋转数据框？的主要内容，如果未能解决你的问题，请参考以下文章

如何旋转数据框？

如何旋转数据框？

如何旋转 Spark 数据框表？ [复制]

如何从 QML 旋转框中获取数据

如何组合和旋转具有不同结构的数据框

如何在 Pandas 中正确旋转或重塑时间序列数据框？