在熊猫中重塑宽到长

Posted

技术标签:

【中文标题】在熊猫中重塑宽到长【英文标题】:Reshape wide to long in pandas 【发布时间】:2016-07-31 23:32:07 【问题描述】:

假设我在 pandas 中有以下数据框:

             AA  BB  CC     
   date
   05/03     1   2   3  
   06/03     4   5   6  
   07/03     7   8   9  
   08/03     5   7   1  

我想将其转换为以下内容:

   AA 05/03    1
   AA 06/03    4
   AA 07/03    7
   AA 08/03    5
   BB 05/03    2
   BB 06/03    5
   BB 07/03    8
   BB 08/03    7
   CC 05/03    3
   CC 06/03    6
   CC 07/03    9
   CC 08/03    1

我该怎么做?

从宽到长转换的原因是,在下一阶段,我想根据日期和初始列名(AA、BB、CC)将此数据框与另一个数据框合并。

【问题讨论】:

【参考方案1】:

更新

正如 George Liu 在another answer 中所展示的,pd.melt 是解决此问题的惯用、灵活和快速的解决方案。不要为此使用unstack


unstack 返回一个带有多索引的系列:

    In [38]: df.unstack()
    Out[38]: 
        date 
    AA  05/03    1
        06/03    4
        07/03    7
        08/03    5
    BB  05/03    2
        06/03    5
        07/03    8
        08/03    7
    CC  05/03    3
        06/03    6
        07/03    9
        08/03    1
    dtype: int64

您可以在返回的系列上调用 reset_index:

In [39]: df.unstack().reset_index() 
Out[39]:        
        
    level_0 date    0
0   AA      05-03   1
1   AA      06-03   4
2   AA      07-03   7
3   AA      08-03   5
4   BB      05-03   2
5   BB      06-03   5
6   BB      07-03   8
7   BB      08-03   7
8   CC      05-03   3
9   CC      06-03   6
10  CC      07-03   9
11  CC      08-03   1

或者用多索引构造一个数据框:

In [40]: pd.DataFrame(df.unstack())     
Out[40]:        
        
            0
    date    
AA  05-03   1
    06-03   4
    07-03   7
    08-03   5
BB  05-03   2
    06-03   5
    07-03   8
    08-03   7
CC  05-03   3
    06-03   6
    07-03   9
    08-03   1

【讨论】:

我们需要指的是运行百万数据的melt还是stack?哪个更快 对于我的虚拟测试 dfs(42 列,1k/100k/1M 行).melt.unstack.reset_index() 快 8 倍 @AndreS。确实如此。我已经更新了答案。【参考方案2】:

对于我的虚拟测试 dfs(42 列,1k/100k/1M 行).melt.unstack.reset_index() 快 8 倍

【讨论】:

【参考方案3】:

使用 pandas.melt 将宽变长:

df = pd.DataFrame(
    'date' : ['05/03', '06/03', '07/03', '08/03'],
    'AA' : [1, 4, 7, 5],
    'BB' : [2, 5, 8, 7],
    'CC' : [3, 6, 9, 1]
).set_index('date')
df

        AA  BB  CC
date            
05/03   1   2   3
06/03   4   5   6
07/03   7   8   9
08/03   5   7   1

要转换,我们只需要重置索引然后融化:

df = df.reset_index()
pd.melt(df, id_vars='date', value_vars=['AA', 'BB', 'CC'])

这是最终结果:

    date variable value
0   05/03   AA  1
1   06/03   AA  4
2   07/03   AA  7
3   08/03   AA  5
4   05/03   BB  2
5   06/03   BB  5
6   07/03   BB  8
7   08/03   BB  7
8   05/03   CC  3
9   06/03   CC  6
10  07/03   CC  9
11  08/03   CC  1

【讨论】:

以上是关于在熊猫中重塑宽到长的主要内容,如果未能解决你的问题,请参考以下文章

重塑具有列表作为值的熊猫数据框

重塑熊猫系列?

将熊猫多索引数据框重塑为多列

熊猫从长到宽重塑,由两个变量

熊猫通过根据另一列的值添加列级别来重塑数据框[重复]

在大查询中从宽到长重塑(标准 SQL)