将嵌套字典转换为 pandas 数据框并绘图
Posted
技术标签:
【中文标题】将嵌套字典转换为 pandas 数据框并绘图【英文标题】:Converting nested dictionary to pandas dataframe and plotting 【发布时间】:2021-06-30 05:33:04 【问题描述】:我有一个监听器,它以以下方式不断记录收到的消息 --
class Listener:
recorded = defaultdict(lambda: defaultdict(list))
def on_message_received(self, msg):
self.recorded[msg.id]["timestamp"].append(msg.timestamp)
self.recorded[msg.id]["data"].append(msg.data)
可以假设时间戳和数据都是浮点数。
对于单个 id,我可以使用 --
绘制数据import altair as alt
import pandas as pd
import streamlit as st
listener = Listener()
plt, frame = st.empty(), st.empty()
def plot():
c = listener.recorded.copy()
df = pd.DataFrame.from_dict(c[100]) # using id: 100 as an example
chart = alt.Chart(df).mark_line().encode(x="timestamp", y="data")
frame.write(df)
plt.altair_chart(chart)
这会产生一个数据框和图表:
所以我的问题是,我将如何备份一个关卡并从字典 listener.recorded
生成一个数据框/绘图,以便每个唯一的 id 都正确地绘制一个图例?我自己似乎无法完全到达那里......
【问题讨论】:
如果您可以使用索引访问c
,那么我相信您可以循环遍历它并在每次迭代期间附加到数据帧。
您在寻找类似create pandas dataframe from dictionary of dictionaries 或Convert list of dictionaries to a pandas DataFrame 的内容吗?
【参考方案1】:
您可以使用pd.concat
创建数据框,重置索引,然后照常使用 Altair。这是一个简短的示例,其中的数据类似于您正在生成的字典:
import altair as alt
import pandas as pd
import numpy as np
rng = np.random.default_rng(1701)
data =
100: 'timestamp': pd.date_range('2021-01-01', periods=10, freq='D'),
'data': np.random.randint(0, 100, 10),
200: 'timestamp': pd.date_range('2021-01-01', periods=10, freq='D'),
'data': np.random.randint(0, 100, 10),
300: 'timestamp': pd.date_range('2021-01-01', periods=10, freq='D'),
'data': np.random.randint(0, 100, 10),
df = pd.concat(k: pd.DataFrame(d) for k, d in data.items())
df = df.reset_index(0).rename('level_0': 'id', axis=1)
alt.Chart(df).mark_line().encode(
x='timestamp:T',
y='data:Q',
color='id:N',
)
【讨论】:
正是我想要的。非常感谢!以上是关于将嵌套字典转换为 pandas 数据框并绘图的主要内容,如果未能解决你的问题,请参考以下文章