熊猫列值到行值
Posted
技术标签:
【中文标题】熊猫列值到行值【英文标题】：pandas column values to row values 【发布时间】：2017-07-21 20:02:22 【问题描述】：我有一个数据集（171 列），当我将它放入我的数据框时，它看起来像这样-
ANO MNO UJ2010 DJ2010 UF2010 DF2010 UM2010 DM2010 UA2010 DA2010 ...
1 A 113 06/01/2010 129 06/02/2010 143 06/03/2010 209 05/04/2010 ...
2 B 218 06/01/2010 211 06/02/2010 244 06/03/2010 348 05/04/2010 ...
3 C 22 06/01/2010 114 06/02/2010 100 06/03/2010 151 05/04/2010 ...
现在我想像这样更改我的数据框 -
ANO MNO Time Unit
1 A 06/01/2010 113
1 A 06/02/2010 129
1 A 06/03/2010 143
2 B 06/01/2010 218
2 B 06/02/2010 211
2 B 06/03/2010 244
3 C 06/01/2010 22
3 C 06/02/2010 114
3 C 06/03/2010 100
....
.....
我尝试使用pd.melt，但我认为它不能满足我的目的。我该怎么做？
【问题讨论】：
【参考方案1】：在过滤要在不同标题下分组的列后，使用pd.lreshape 作为pd.melt 的接近替代品。
通过使用pd.lreshape，当您将字典对象作为groups 参数注入时，键将采用新的标题名称，并且作为值馈送到此dict 的所有列名称列表将是投在那个单一的标题下。因此，它会在转换后生成一个长格式的DF。
最后对DF w.r.t 未使用的列进行排序，以相应地对齐它们。
然后，在末尾添加一个reset_index(drop=True)，通过删除中间索引将索引轴重新标记为默认整数值。
d = pd.lreshape(df, "Time": df.filter(regex=r'^D').columns,
"Unit": df.filter(regex=r'^U').columns)
d.sort_values(['ANO', 'MNO']).reset_index(drop=True)
如果分组列的长度不匹配，则：
from itertools import groupby, chain
unused_cols = ['ANO', 'MNO']
cols = df.columns.difference(unused_cols)
# filter based on the common strings starting from the first slice upto end.
fnc = lambda x: x[1:]
pref1, pref2 = "D", "U"
# Obtain groups based on a common interval of slices.
groups = [list(g) for n, g in groupby(sorted(cols, key=fnc), key=fnc)]
# Fill single length list with it's other char counterpart.
fill_missing = [i if len(i)==2 else i +
[pref1 + i[0][1:] if i[0][0] == pref2 else pref2 + i[0][1:]]
for i in groups]
# Reindex based on newly obtained column names.
df = df.reindex(columns=unused_cols + list(chain(*fill_missing)))
如上所述，使用pd.lreshape 继续相同的步骤，但这次包含dropna=False 参数。
【讨论】：
pd.lreshape 很棒 +1 :-) 我可能错了，但在pd.lreshape 上找不到任何文档，您能否再解释一下代码？你能给我文档参考吗？
我已经更新了我的帖子。 如果您使用的是 Jupyter，pd.lreshape?? 应该会在弹出窗口中向您显示底层代码。 AFAIK，目前仍处于实验阶段，因此文档页面中没有它。
它们是否都以相同的U 和D 前缀开头？如果没有，您打算如何对它们进行分组？
当我尝试在我的数据集中运行你的 sn-p 时，它显示 ValueError: All column lists must be same length。我需要填写所有Nan。因为有一些列对于一个帐户来说根本没有任何价值【参考方案2】：
您可以通过stack 进行整形，但首先在具有% 和// 的列中创建MultiIndex。
MultiIndex 值将 Time 和 Unit 映射到 MultiIndex 的第二级，通过地板除法 (//) 2，每对的差异由模除法 (%) 创建.
然后stack使用//创建的最后一层，并在index中创建新的MultiIndex层，这不是必需的，所以被reset_index(level=2, drop=True)删除。
用于将第一级和第二级转换为columns 的最后一个reset_index。
[[1,0]] 用于交换列以进行更改排序。
df = df.set_index(['ANO','MNO'])
cols = np.arange(len(df.columns))
df.columns = [cols % 2, cols // 2]
print (df)
0 1 0 1 0 1 0 1
0 0 1 1 2 2 3 3
ANO MNO
1 A 113 06/01/2010 129 06/02/2010 143 06/03/2010 209 05/04/2010
2 B 218 06/01/2010 211 06/02/2010 244 06/03/2010 348 05/04/2010
3 C 22 06/01/2010 114 06/02/2010 100 06/03/2010 151 05/04/2010
df = df.stack()[[1,0]].reset_index(level=2, drop=True).reset_index()
df.columns = ['ANO','MNO','Time','Unit']
print (df)
ANO MNO Time Unit
0 1 A 06/01/2010 113
1 1 A 06/02/2010 129
2 1 A 06/03/2010 143
3 1 A 05/04/2010 209
4 2 B 06/01/2010 218
5 2 B 06/02/2010 211
6 2 B 06/03/2010 244
7 2 B 05/04/2010 348
8 3 C 06/01/2010 22
9 3 C 06/02/2010 114
10 3 C 06/03/2010 100
11 3 C 05/04/2010 151
编辑：
#last column is missing
print (df)
ANO MNO UJ2010 DJ2010 UF2010 DF2010 UM2010 DM2010 UA2010
0 1 A 113 06/01/2010 129 06/02/2010 143 06/03/2010 209
1 2 B 218 06/01/2010 211 06/02/2010 244 06/03/2010 348
2 3 C 22 06/01/2010 114 06/02/2010 100 06/03/2010 151
df = df.set_index(['ANO','MNO'])
#MultiIndex is created by first character of column names with all another
df.columns = [df.columns.str[0], df.columns.str[1:]]
print (df)
U D U D U D U
J2010 J2010 F2010 F2010 M2010 M2010 A2010
ANO MNO
1 A 113 06/01/2010 129 06/02/2010 143 06/03/2010 209
2 B 218 06/01/2010 211 06/02/2010 244 06/03/2010 348
3 C 22 06/01/2010 114 06/02/2010 100 06/03/2010 151
#stack add missing values, replace them by NaN
df = df.stack().reset_index(level=2, drop=True).reset_index()
df.columns = ['ANO','MNO','Time','Unit']
print (df)
ANO MNO Time Unit
0 1 A NaN 209
1 1 A 06/02/2010 129
2 1 A 06/01/2010 113
3 1 A 06/03/2010 143
4 2 B NaN 348
5 2 B 06/02/2010 211
6 2 B 06/01/2010 218
7 2 B 06/03/2010 244
8 3 C NaN 151
9 3 C 06/02/2010 114
10 3 C 06/01/2010 22
11 3 C 06/03/2010 100
【讨论】：
当然，等一下 根据列行开关，您的代码可以工作，但现在的问题是，我在特定列中缺少值。实际上，这是一种将它们的值左移到其他列的方式。我能让你理解这个场景吗？ 解决方法很简单——添加参数dropna=False - df.stack(dropna=False)
或问题是列中的某些所有值都丢失了？例如。如果您的样本UJ2010, DJ2010 丢失了DJ2010？
是的，这正是问题所在，有些列缺少值。现在我该怎么办？【参考方案3】：
您可以为此使用iloc 和pd.concat。解决方案很简单 - 只需将所有相关列（通过 iloc 选择）一个接一个地垂直堆叠并将它们连接起来：
def rename(sub_df):
sub_df.columns = ["ANO", "MNO", "Time", "Unit"]
return sub_df
pd.concat([rename(df.iloc[:, [0, 1, x+1, x]])
for x in range(2, df.shape[1], 2)])
ANO MNO Time Unit
0 1 A 06/01/2010 113
1 2 B 06/01/2010 218
2 3 C 06/01/2010 22
0 1 A 06/02/2010 129
1 2 B 06/02/2010 211
2 3 C 06/02/2010 114
0 1 A 06/03/2010 143
1 2 B 06/03/2010 244
2 3 C 06/03/2010 100
0 1 A 05/04/2010 209
1 2 B 05/04/2010 348
2 3 C 05/04/2010 151
【讨论】：
我说我有171列所以我需要更改concat方法中的参数吗？
@pdfarhad 不，你不知道，它已经通过df.shape[1] 包含在内。范围会根据您的输入数据框自动调整。以上是关于熊猫列值到行值的主要内容，如果未能解决你的问题，请参考以下文章