Pandas - 规范化 Json 列表

Posted 2023-03-11

【中文标题】Pandas - 规范化 Json 列表

【英文标题】：Pandas - normalize Json list

【发布时间】：2020-12-11 01:21:41

【问题描述】：

我正在尝试规范化 Pandas 数据框中的列，该列是字典列表（可能会丢失）。

复制示例

import pandas as pd
bids = pd.Series([['price': 606, 'quantity': 28,'price': 588, 'quantity': 29,
                   'price': 513, 'quantity': 33],[],['price': 7143, 'quantity': 15,
                    'price': 68, 'quantity': 91,'price': 6849, 'quantity': 12]])
data = pd.DataFrame([1,2,3]).rename(columns=0:'id')
data['bids'] = bids

期望的输出

id price quantity
1  606    28
1  588    29
1  513    33
3  7143   15
3  68     91
3  6849   12

尝试

按照文档here 尝试使用 pandas json_normalize 解决。我很困惑为什么以下方法都不起作用，以及什么类型的 record_path 可以解决我的问题。以下所有错误。

pd.json_normalize(data['bids'])
pd.json_normalize(data['bids'],['price','quantity'])
pd.json_normalize(data['bids'],[['price','quantity']])

【参考方案1】：

在bids 列上使用DataFrame.explode，然后从爆炸的bids 列中的字典创建一个新数据框，并将DataFrame.join 与join 一起使用df：

df = data.explode('bids').dropna(subset=['bids']).reset_index(drop=True)
df = df.join(pd.DataFrame(df.pop('bids').tolist()))

结果：

print(df)
   id  price  quantity
0   1    606        28
1   1    588        29
2   1    513        33
3   3   7143        15
4   3     68        91
5   3   6849        12

【参考方案2】：

用np.repeat 和np.concatenate 用json_normalize 添加另一种方法

out = pd.io.json.json_normalize(np.concatenate(data['bids']))
out.insert(0,'id',np.repeat(data['id'],data['bids'].str.len()).to_numpy())

或者您也可以使用@Shubham 提到的np.hstack 而不是np.concatenate：

out = pd.io.json.json_normalize(np.hstack(data['bids']))

---

print(out)

   id  price  quantity
0   1    606        28
1   1    588        29
2   1    513        33
3   3   7143        15
4   3     68        91
5   3   6849        12