Pandas：使用字典中元组的列标题和单元格值创建数据框

Posted 2023-03-11

【中文标题】Pandas：使用字典中元组的列标题和单元格值创建数据框

【英文标题】：Pandas: create dataframe with column headers and cell values from tuples in a dictionary

【发布时间】：2020-08-01 13:31:36

【问题描述】：

我有一个简单的 pandas 数据框，有两列：

document  document_topics 
0         [(0, 0.0280), (1, 0.0372), (2, 0.0131), ... (42, 0.0969)]
1 ...     [(1, 0.0829), (3, 0.0161), (4, 0.0141), ... (27, 0.2275)]

“document_topics”列是（主题，权重）的元组。我想拆分“document_topics”并获得如下数据框：

document  topic_0  topic_1  topic_2 topic_3 topic_4...
0         0.0280   0.0372   0.0131  NaN     NaN  
1 ...     NaN      0.0829   NaN     0.0161  0.0141

不是每个文档都有与之相关的所有主题，所以我想用“NaN”填充这些值。创建此数据框的最佳方法是什么？

【参考方案1】：

您可以使用转换并定义自己的功能

df = pd.DataFrame(columns=['document_topics'])
df.loc[len(df), df.columns[0]] = [(0, 0.0280),
                                (1, 0.0372), (2, 0.0131), (3, 0.0969)]

df.loc[len(df), df.columns[0]] = [(0, 0.0280), (1, 0.0280),
                            (2, 0.0372), (3, 0.0131), (42, 0.0969)]


def fun(row):
    df = pd.DataFrame(row, columns=['idx', 'vals'])
    df['idx_index'] = 'topic_' + df['idx'].astype(str)
    df.set_index('idx_index', inplace=True)
    return df['vals']


df.document_topics.transform(fun)

# topic_0   topic_1 topic_2 topic_3 topic_42
# 0 0.028   0.0372  0.0131  0.0969  NaN
# 1 0.028   0.0280  0.0372  0.0131  0.0969

【参考方案2】：

首先，您需要知道您总共有多少个主题total_topics，然后创建一个新的列表列表，该列表中的每个元素都是一个列表，该列表始终具有total_topics 元素，如果缺少则无。

document_topics = df.document_topics.to_list()
topics = sum(document_topics, [])
topics = set([topic[0] for topic in topics])
for i, document_topic in enumerate(document_topics):
    document_topic = dict(document_topic)
    document_topics[i] = []
    for topic in topics:
        document_topics[i].append(document_topic[topic] if topic in document_topic else None)
columns = [f'topic_i' for i in topics]
df_new = pd.DataFrame(data=document_topics, columns=columns)

【讨论】：

这个解决方案在解决我的问题方面效果很好，因为我的列属于“对象”类型。谢谢！

希望这可能是你的“答案” :)

【参考方案3】：

您可以explode 列表，然后获取元组的第一个和第二个元素和pivot。

df = df.explode('document_topics') 

df = (df.assign(topic=df.document_topics.str[0], 
                vals=df.document_topics.str[1])
        .pivot(index='document', columns='topic', values='vals'))

# Clean up names, add prefixes
df = df.add_prefix('topic_').reset_index().rename_axis(columns=None)

---

   document  topic_0  topic_1  topic_2  topic_3  topic_4  topic_27  topic_42
0         0    0.028   0.0372   0.0131      NaN      NaN       NaN    0.0969
1         1      NaN   0.0829      NaN   0.0161   0.0141    0.2275       NaN

【讨论】：

我怎么不知道explode。那是拉德。