带有列表元素的熊猫数据框：拆分，填充

Posted 2023-03-12

【中文标题】带有列表元素的熊猫数据框：拆分，填充

【英文标题】：pandas dataframe with list elements: split, pad

【发布时间】：2019-10-25 06:39:24

【问题描述】：

我有一个 pandas 数据框 (NROWS x 1)，其中每一行都是一个列表，例如

    y 
0   [[aa, bb], 0000001]   
1   [[uz, mk], 0000011]

我想展平列表并分成（在本例中为三）列，如下所示：

    1  2  3
0   aa bb 0000001
1   uz mk 0000011

此外，不同的行具有不相等的长度：

    y
0   [[aa, bb], 0000001]
1   [[mk], 0000011]

我真正想要结束的是，检测所有行的最大长度并将其余的填充为空字符串''。在这个例子中，

    1  2  3
0   aa bb 0000001
1   '' mk 0000011

我一直在玩弄 .values.tolist() 但它没有满足我的需求。

编辑-下面的答案非常简洁，非常感谢。为了完整起见，我正在编辑以包含一个类似但更简单的问题的解决方案。

读取数据，使用 Strip / trim all strings of a dataframe 中的 trim() fn 确保没有左/右空格

df = pd.read_csv('data.csv',sep=',',dtype=str)
df = trim_all_columns(df) 

保留分类/名义 ID 和 CODE 列，删除所有 NA

df.dropna(subset=['dg_cd'] , inplace=True) # drop dg_cd is NaN rows from df 

df2 = df[['id','dg_cd']]

将 CODE 变成句子，通过 ID 保留所有重复的实例

x = df2.groupby('id').apply(lambda x: x['dg_cd'].values.tolist()).apply(pd.Series).replace(np.nan, '', regex=True)

这样做的原因是因为它会输入 k 模式集群搜索 https://pypi.org/project/kmodes/。 NA 不是可接受的输入，而是空字符串

''

在没有虚假相似性的情况下允许相同长度的行。例如，

km = KModes(n_clusters=4, init='Cao', n_init=1, verbose=1)

clusters = km.fit_predict( x )

【问题讨论】：

请包含您尝试的代码

代码如何知道如果列表只有 2 个元素，那么是否会将第一项放在列表的第二位？

感谢下面的回答，非常整洁！

【参考方案1】：

设置

df = pd.DataFrame(dict(y=[
    [['aa', 'bb'], '0000001'],
    [['uz', 'mk'], '0000011'],
    [['mk'], '0000111']
]))

df

                     y
0  [[aa, bb], 0000001]
1  [[uz, mk], 0000011]
2      [[mk], 0000111]

---

flatten

来自@wim

def flatten(x):
    try:
        it = iter(x)
    except TypeError:
        yield x
        return
    if isinstance(x, str):
        yield x
        return
    for elem in it:
        yield from flatten(elem)

d = dict(zip(df.index, [dict(enumerate([*flatten(x)][::-1])) for x in df.y]))

d = pd.DataFrame.from_dict(d, 'index').fillna('')
d.iloc[:, ::-1].rename(columns=lambda x: d.shape[1] - x)

    1   2        3
0  aa  bb  0000001
1  uz  mk  0000011
2      mk  0000111

【参考方案2】：

使用相同的function后将列表展平

pd.DataFrame(list(map(lambda x : list(flatten(x)),df.y.tolist()))).apply(lambda x : pd.Series(sorted(x,key=pd.notna)),1)
Out[85]: 
      0   1        2
0    aa  bb  0000001
1    uz  mk  0000011
2  None  mk  0000111

【参考方案3】：

如果您想控制从哪一侧填充子列表：

max_len = df['y'].apply(lambda row: len(row[0])).max()

pd.DataFrame([*df['y'].apply(lambda row: ['']*(max_len - len(row[0])) + row[0] + row[1:])])

其中，使用@piRSquared 的设置给出了

    0   1        2
0  aa  bb  0000001
1  uz  mk  0000011
2      mk  0000111

或者，也可以

pd.DataFrame([*df['y'].apply(lambda row: row[0] + ['']*(max_len - len(row[0])) + row[1:])])

给你

    0   1        2
0  aa  bb  0000001
1  uz  mk  0000011
2  mk      0000111