如何旋转数据框？
Posted
技术标签:
【中文标题】如何旋转数据框？【英文标题】：How can I pivot a dataframe? 【发布时间】：2022-01-23 09:27:42 【问题描述】： 什么是枢轴？ 如何进行转轴？ 这是一个支点吗？ 长格式转宽格式？我看到很多关于数据透视表的问题。即使他们不知道他们在询问数据透视表，他们通常也是如此。几乎不可能编写一个涵盖旋转所有方面的规范问题和答案......
...但我要试一试。
现有问题和答案的问题在于，问题通常集中在 OP 难以概括以使用许多现有的好答案的细微差别上。但是，没有一个答案试图给出全面的解释（因为这是一项艰巨的任务）
看看我Google Search的几个例子
-
How to pivot a dataframe in Pandas?
-
pandas pivot table to data frame
-
pandas pivoting a dataframe, duplicate rows
pd.DataFrame.pivot
因此，每当有人搜索 pivot 时，他们会得到零星的结果，这些结果可能无法回答他们的具体问题。
设置
您可能会注意到，我明显地命名了我的列和相关列值，以符合我将如何在下面的答案中进行透视。
import numpy as np
import pandas as pd
from numpy.core.defchararray import add
np.random.seed([3,1415])
n = 20
cols = np.array(['key', 'row', 'item', 'col'])
arr1 = (np.random.randint(5, size=(n, 4)) // [2, 1, 2, 1]).astype(str)
df = pd.DataFrame(
add(cols, arr1), columns=cols
).join(
pd.DataFrame(np.random.rand(n, 2).round(2)).add_prefix('val')
)
print(df)
key row item col val0 val1
0 key0 row3 item1 col3 0.81 0.04
1 key1 row2 item1 col2 0.44 0.07
2 key1 row0 item1 col0 0.77 0.01
3 key0 row4 item0 col2 0.15 0.59
4 key1 row0 item2 col1 0.81 0.64
5 key1 row2 item2 col4 0.13 0.88
6 key2 row4 item1 col3 0.88 0.39
7 key1 row4 item1 col1 0.10 0.07
8 key1 row0 item2 col4 0.65 0.02
9 key1 row2 item0 col2 0.35 0.61
10 key2 row0 item2 col1 0.40 0.85
11 key2 row4 item1 col2 0.64 0.25
12 key0 row2 item2 col3 0.50 0.44
13 key0 row4 item1 col4 0.24 0.46
14 key1 row3 item2 col3 0.28 0.11
15 key0 row3 item1 col1 0.31 0.23
16 key0 row0 item2 col3 0.86 0.01
17 key0 row4 item0 col3 0.64 0.21
18 key2 row2 item2 col0 0.13 0.45
19 key0 row2 item0 col4 0.37 0.70
问题
为什么我得到ValueError: Index contains duplicate entries, cannot reshape
我如何旋转df 使得col 值是列，row 值是索引，val0 的平均值是值？
col col0 col1 col2 col3 col4
row
row0 0.77 0.605 NaN 0.860 0.65
row2 0.13 NaN 0.395 0.500 0.25
row3 NaN 0.310 NaN 0.545 NaN
row4 NaN 0.100 0.395 0.760 0.24
我如何旋转 df 使得 col 值是列，row 值是索引，val0 的平均值是值，而缺失值是 0？
col col0 col1 col2 col3 col4
row
row0 0.77 0.605 0.000 0.860 0.65
row2 0.13 0.000 0.395 0.500 0.25
row3 0.00 0.310 0.000 0.545 0.00
row4 0.00 0.100 0.395 0.760 0.24
我可以得到除mean 以外的东西吗，比如sum？
col col0 col1 col2 col3 col4
row
row0 0.77 1.21 0.00 0.86 0.65
row2 0.13 0.00 0.79 0.50 0.50
row3 0.00 0.31 0.00 1.09 0.00
row4 0.00 0.10 0.79 1.52 0.24
我可以一次做多个聚合吗？
sum mean
col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4
row
row0 0.77 1.21 0.00 0.86 0.65 0.77 0.605 0.000 0.860 0.65
row2 0.13 0.00 0.79 0.50 0.50 0.13 0.000 0.395 0.500 0.25
row3 0.00 0.31 0.00 1.09 0.00 0.00 0.310 0.000 0.545 0.00
row4 0.00 0.10 0.79 1.52 0.24 0.00 0.100 0.395 0.760 0.24
我可以聚合多个值列吗？
val0 val1
col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4
row
row0 0.77 0.605 0.000 0.860 0.65 0.01 0.745 0.00 0.010 0.02
row2 0.13 0.000 0.395 0.500 0.25 0.45 0.000 0.34 0.440 0.79
row3 0.00 0.310 0.000 0.545 0.00 0.00 0.230 0.00 0.075 0.00
row4 0.00 0.100 0.395 0.760 0.24 0.00 0.070 0.42 0.300 0.46
可以多列细分吗？
item item0 item1 item2
col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4
row
row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.605 0.86 0.65
row2 0.35 0.00 0.37 0.00 0.00 0.44 0.00 0.00 0.13 0.000 0.50 0.13
row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.000 0.28 0.00
row4 0.15 0.64 0.00 0.00 0.10 0.64 0.88 0.24 0.00 0.000 0.00 0.00
或者
item item0 item1 item2
col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4
key row
key0 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.86 0.00
row2 0.00 0.00 0.37 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.50 0.00
row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.00 0.00 0.00
row4 0.15 0.64 0.00 0.00 0.00 0.00 0.00 0.24 0.00 0.00 0.00 0.00
key1 row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.81 0.00 0.65
row2 0.35 0.00 0.00 0.00 0.00 0.44 0.00 0.00 0.00 0.00 0.00 0.13
row3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.28 0.00
row4 0.00 0.00 0.00 0.00 0.10 0.00 0.00 0.00 0.00 0.00 0.00 0.00
key2 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.40 0.00 0.00
row2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.00 0.00 0.00
row4 0.00 0.00 0.00 0.00 0.00 0.64 0.88 0.00 0.00 0.00 0.00 0.00
我可以汇总列和行一起出现的频率，也就是“交叉表”吗？
col col0 col1 col2 col3 col4
row
row0 1 2 0 1 1
row2 1 0 2 1 2
row3 0 1 0 2 0
row4 0 1 2 2 1
如何通过仅以两列为轴将 DataFrame 从长转换为宽？给定，
np.random.seed([3, 1415])
df2 = pd.DataFrame('A': list('aaaabbbc'), 'B': np.random.choice(15, 8))
df2
A B
0 a 0
1 a 11
2 a 2
3 a 11
4 b 10
5 b 10
6 b 14
7 c 7
预期应该看起来像
a b c
0 0.0 10.0 7.0
1 11.0 10.0 NaN
2 2.0 14.0 NaN
3 11.0 NaN NaN
如何在pivot 之后将多个索引展平为单个索引？
来自
1 2
1 1 2
a 2 1 1
b 2 1 0
c 1 0 0
到
1|1 2|1 2|2
a 2 1 1
b 2 1 0
c 1 0 0
【问题讨论】：
【参考方案1】：我们从回答第一个问题开始：
问题 1
为什么我得到
ValueError: Index contains duplicate entries, cannot reshape
出现这种情况是因为 pandas 试图重新索引具有重复条目的 columns 或 index 对象。可以使用多种方法来执行数据透视。其中一些不太适合当要求其旋转的键存在重复项时。例如。考虑pd.DataFrame.pivot。我知道有重复的条目共享 row 和 col 值：
df.duplicated(['row', 'col']).any()
True
所以当我pivot 使用时
df.pivot(index='row', columns='col', values='val0')
我收到上述错误。事实上，当我尝试执行相同的任务时，我得到了同样的错误：
df.set_index(['row', 'col'])['val0'].unstack()
这里是我们可以使用的习语列表
pd.DataFrame.groupby + pd.DataFrame.unstack
unstack 列索引中您想要的级别。
pd.DataFrame.pivot_table
groupby 的美化版本，具有更直观的 API。对于许多人来说，这是首选方法。并且是开发人员的预期方法。
指定行级别、列级别、要聚合的值以及执行聚合的函数。
pd.DataFrame.set_index + pd.DataFrame.unstack
groupby 范例类似，我们指定最终将是行级别或列级别的所有列，并将它们设置为索引。然后我们unstack 列中我们想要的级别。如果剩余的索引级别或列级别不是唯一的，则此方法将失败。
pd.DataFrame.pivot
set_index 非常相似，因为它共享重复密钥限制。 API 也非常有限。它只接受index、columns、values 的标量值。
与pivot_table 方法类似，我们选择要旋转的行、列和值。但是，我们无法聚合，如果行或列不是唯一的，则此方法将失败。
pd.crosstab
pivot_table 的专用版本，其最纯粹的形式是执行多项任务的最直观方式。
pd.factorize + np.bincount
pd.get_dummies + pd.DataFrame.dot
示例
我将为每个后续答案和问题做的是使用pd.DataFrame.pivot_table 回答它。然后我将提供执行相同任务的替代方案。
问题 3
我如何旋转
df使得col值是列，row值是索引，val0的平均值是值，而缺失值是0？
pd.DataFrame.pivot_table
fill_value 默认未设置。我倾向于适当地设置它。在这种情况下，我将其设置为 0。请注意，我跳过了 问题 2，因为它与没有 fill_value
aggfunc='mean' 是默认值，我不必设置它。我把它包括在内是为了明确。
df.pivot_table(
values='val0', index='row', columns='col',
fill_value=0, aggfunc='mean')
col col0 col1 col2 col3 col4
row
row0 0.77 0.605 0.000 0.860 0.65
row2 0.13 0.000 0.395 0.500 0.25
row3 0.00 0.310 0.000 0.545 0.00
row4 0.00 0.100 0.395 0.760 0.24
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)
pd.crosstab
pd.crosstab(
index=df['row'], columns=df['col'],
values=df['val0'], aggfunc='mean').fillna(0)
问题 4
我可以得到除
mean之外的其他东西，比如sum吗？
pd.DataFrame.pivot_table
df.pivot_table(
values='val0', index='row', columns='col',
fill_value=0, aggfunc='sum')
col col0 col1 col2 col3 col4
row
row0 0.77 1.21 0.00 0.86 0.65
row2 0.13 0.00 0.79 0.50 0.50
row3 0.00 0.31 0.00 1.09 0.00
row4 0.00 0.10 0.79 1.52 0.24
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)
pd.crosstab
pd.crosstab(
index=df['row'], columns=df['col'],
values=df['val0'], aggfunc='sum').fillna(0)
问题 5
我可以一次做多个聚合吗？
请注意，对于pivot_table 和crosstab，我需要传递可调用对象列表。另一方面，groupby.agg 能够为有限数量的特殊功能获取字符串。 groupby.agg 也会采用我们传递给其他人的相同可调用对象，但利用字符串函数名称通常更有效，因为可以提高效率。
pd.DataFrame.pivot_table
df.pivot_table(
values='val0', index='row', columns='col',
fill_value=0, aggfunc=[np.size, np.mean])
size mean
col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4
row
row0 1 2 0 1 1 0.77 0.605 0.000 0.860 0.65
row2 1 0 2 1 2 0.13 0.000 0.395 0.500 0.25
row3 0 1 0 2 0 0.00 0.310 0.000 0.545 0.00
row4 0 1 2 2 1 0.00 0.100 0.395 0.760 0.24
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)
pd.crosstab
pd.crosstab(
index=df['row'], columns=df['col'],
values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')
问题 6
我可以聚合多个值列吗？
pd.DataFrame.pivot_table 我们通过了values=['val0', 'val1']，但我们可以完全放弃它
df.pivot_table(
values=['val0', 'val1'], index='row', columns='col',
fill_value=0, aggfunc='mean')
val0 val1
col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4
row
row0 0.77 0.605 0.000 0.860 0.65 0.01 0.745 0.00 0.010 0.02
row2 0.13 0.000 0.395 0.500 0.25 0.45 0.000 0.34 0.440 0.79
row3 0.00 0.310 0.000 0.545 0.00 0.00 0.230 0.00 0.075 0.00
row4 0.00 0.100 0.395 0.760 0.24 0.00 0.070 0.42 0.300 0.46
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)
问题 7
可以多列细分吗？
pd.DataFrame.pivot_table
df.pivot_table(
values='val0', index='row', columns=['item', 'col'],
fill_value=0, aggfunc='mean')
item item0 item1 item2
col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4
row
row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.605 0.86 0.65
row2 0.35 0.00 0.37 0.00 0.00 0.44 0.00 0.00 0.13 0.000 0.50 0.13
row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.000 0.28 0.00
row4 0.15 0.64 0.00 0.00 0.10 0.64 0.88 0.24 0.00 0.000 0.00 0.00
pd.DataFrame.groupby
df.groupby(
['row', 'item', 'col']
)['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
问题 8
可以多列细分吗？
pd.DataFrame.pivot_table
df.pivot_table(
values='val0', index=['key', 'row'], columns=['item', 'col'],
fill_value=0, aggfunc='mean')
item item0 item1 item2
col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4
key row
key0 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.86 0.00
row2 0.00 0.00 0.37 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.50 0.00
row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.00 0.00 0.00
row4 0.15 0.64 0.00 0.00 0.00 0.00 0.00 0.24 0.00 0.00 0.00 0.00
key1 row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.81 0.00 0.65
row2 0.35 0.00 0.00 0.00 0.00 0.44 0.00 0.00 0.00 0.00 0.00 0.13
row3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.28 0.00
row4 0.00 0.00 0.00 0.00 0.10 0.00 0.00 0.00 0.00 0.00 0.00 0.00
key2 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.40 0.00 0.00
row2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.00 0.00 0.00
row4 0.00 0.00 0.00 0.00 0.00 0.64 0.88 0.00 0.00 0.00 0.00 0.00
pd.DataFrame.groupby
df.groupby(
['key', 'row', 'item', 'col']
)['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
pd.DataFrame.set_index 因为键集对于行和列都是唯一的
df.set_index(
['key', 'row', 'item', 'col']
)['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)
问题 9
我可以汇总列和行一起出现的频率，也就是“交叉表”吗？
pd.DataFrame.pivot_table
df.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size')
col col0 col1 col2 col3 col4
row
row0 1 2 0 1 1
row2 1 0 2 1 2
row3 0 1 0 2 0
row4 0 1 2 2 1
pd.DataFrame.groupby
df.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)
pd.crosstab
pd.crosstab(df['row'], df['col'])
pd.factorize + np.bincount
# get integer factorization `i` and unique values `r`
# for column `'row'`
i, r = pd.factorize(df['row'].values)
# get integer factorization `j` and unique values `c`
# for column `'col'`
j, c = pd.factorize(df['col'].values)
# `n` will be the number of rows
# `m` will be the number of columns
n, m = r.size, c.size
# `i * m + j` is a clever way of counting the
# factorization bins assuming a flat array of length
# `n * m`. Which is why we subsequently reshape as `(n, m)`
b = np.bincount(i * m + j, minlength=n * m).reshape(n, m)
# BTW, whenever I read this, I think 'Bean, Rice, and Cheese'
pd.DataFrame(b, r, c)
col3 col2 col0 col1 col4
row3 2 0 0 1 0
row2 1 2 1 0 2
row0 1 0 1 2 1
row4 2 2 0 1 1
pd.get_dummies
pd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col']))
col0 col1 col2 col3 col4
row0 1 2 0 1 1
row2 1 0 2 1 2
row3 0 1 0 2 0
row4 0 1 2 2 1
问题 10
如何通过仅以两个为轴将 DataFrame 从长转换为宽 列？
DataFrame.pivot
第一步是为每一行分配一个数字 - 这个数字将是该值在透视结果中的行索引。这是使用GroupBy.cumcount 完成的：
df2.insert(0, 'count', df2.groupby('A').cumcount())
df2
count A B
0 0 a 0
1 1 a 11
2 2 a 2
3 3 a 11
4 0 b 10
5 1 b 10
6 2 b 14
7 0 c 7
第二步，将新创建的列作为索引调用DataFrame.pivot。
df2.pivot(*df2)
# df2.pivot(index='count', columns='A', values='B')
A a b c
count
0 0.0 10.0 7.0
1 11.0 10.0 NaN
2 2.0 14.0 NaN
3 11.0 NaN NaN
DataFrame.pivot_table
而DataFrame.pivot 只接受列，DataFrame.pivot_table 也接受数组，因此GroupBy.cumcount 可以直接作为index 传递而无需创建显式列。
df2.pivot_table(index=df2.groupby('A').cumcount(), columns='A', values='B')
A a b c
0 0.0 10.0 7.0
1 11.0 10.0 NaN
2 2.0 14.0 NaN
3 11.0 NaN NaN
问题 11
如何在
pivot之后将多个索引展平为单个索引
如果columns 输入object 和字符串join
df.columns = df.columns.map('|'.join)
否则format
df.columns = df.columns.map('0[0]|0[1]'.format)
【讨论】：
你能考虑扩展official docs吗？ 问题 #10 的答案发生了什么？我得到KeyError: 'A'。还有更多的答案吗？
@MonicaHeddneck 我会再次审查并在必要时进行更新。但是，'A' 假设您的数据框中有一个列 'A' 要分组。
第10题的列不用插入，可以直接作为数据透视表中的参数传入
@MonicaHeddneck 我认为对df 的引用应该更改为df2。如果您像我一样关注 df 是较早创建的数据框。【参考方案2】：
扩展@piRSquared's answer另一个版本的Question 10
问题 10.1
数据帧：
d = data = 'A': 0: 1, 1: 1, 2: 1, 3: 2, 4: 2, 5: 3, 6: 5,
'B': 0: 'a', 1: 'b', 2: 'c', 3: 'a', 4: 'b', 5: 'a', 6: 'c'
df = pd.DataFrame(d)
A B
0 1 a
1 1 b
2 1 c
3 2 a
4 2 b
5 3 a
6 5 c
输出：
0 1 2
A
1 a b c
2 a b None
3 a None None
5 c None None
使用df.groupby 和pd.Series.tolist
t = df.groupby('A')['B'].apply(list)
out = pd.DataFrame(t.tolist(),index=t.index)
out
0 1 2
A
1 a b c
2 a b None
3 a None None
5 c None None
或者
使用pd.pivot_table 和df.squeeze. 的更好选择
t = df.pivot_table(index='A',values='B',aggfunc=list).squeeze()
out = pd.DataFrame(t.tolist(),index=t.index)
【讨论】：
【参考方案3】：要更好地了解 pivot 的工作原理，您可以查看 Pandas 文档中的 example：
df = pd.DataFrame(
'foo': ['one', 'one', 'one', 'two', 'two', 'two'],
'bar': ['A', 'B', 'C', 'A', 'B', 'C'],
'baz': [1, 2, 3, 4, 5, 6],
'zoo': ['x', 'y', 'z', 'q', 'w', 't']
)
输入表：
foo bar baz zoo
0 one A 1 x
1 one B 2 y
2 one C 3 z
3 two A 4 q
4 two B 5 w
5 two C 6 t
枢轴：
pd.pivot(
data=df,
index='foo', # Column to use to make new frame’s index. If None, uses existing index.
columns='bar', # Column to use to make new frame’s columns.
values='baz' # Column(s) to use for populating new frame’s values.
)
输出表：
bar A B C
foo
one 1 2 3
two 4 5 6
【讨论】：
以上是关于如何旋转数据框？的主要内容，如果未能解决你的问题，请参考以下文章