填补 MultiIndex Pandas Dataframe 中的日期空白
Posted
技术标签:
【中文标题】填补 MultiIndex Pandas Dataframe 中的日期空白【英文标题】：Filling in date gaps in MultiIndex Pandas Dataframe 【发布时间】：2013-06-21 16:41:06 【问题描述】：我想修改一个 pandas MultiIndex DataFrame，使每个索引组都包含指定范围之间的日期。我希望每个组用值 0（或 NaN）填写缺失的日期 2013-06-11 到 2013-12-31。
Group A, Group B, Date, Value
loc_a group_a 2013-06-11 22
2013-07-02 35
2013-07-09 14
2013-07-30 9
2013-08-06 4
2013-09-03 40
2013-10-01 18
group_b 2013-07-09 4
2013-08-06 2
2013-09-03 5
group_c 2013-07-09 1
2013-09-03 2
loc_b group_a 2013-10-01 3
我看过一些关于reindexing 的讨论，但这是针对简单（非分组）时间序列数据的。
有没有简单的方法可以做到这一点？
以下是我为实现这一目标所做的一些尝试。例如：一旦我通过['A', 'B'] 取消堆叠，我就可以重新索引。
df = pd.DataFrame('A': ['loc_a'] * 12 + ['loc_b'],
'B': ['group_a'] * 7 + ['group_b'] * 3 + ['group_c'] * 2 + ['group_a'],
'Date': ["2013-06-11",
"2013-07-02",
"2013-07-09",
"2013-07-30",
"2013-08-06",
"2013-09-03",
"2013-10-01",
"2013-07-09",
"2013-08-06",
"2013-09-03",
"2013-07-09",
"2013-09-03",
"2013-10-01"],
'Value': [22, 35, 14, 9, 4, 40, 18, 4, 2, 5, 1, 2, 3])
df.Date = df['Date'].apply(lambda x: pd.to_datetime(x).date())
df = df.set_index(['A', 'B', 'Date'])
dt_start = dt.datetime(2013,6,1)
all_dates = [(dt_start + dt.timedelta(days=x)).date() for x in range(0,60)]
df2 = df.unstack(['A', 'B'])
df3 = df2.reindex(index=all_dates).fillna(0)
df4 = df3.stack(['A', 'B'])
## df4 is about where I want to get, now I'm trying to get it back in the form of df...
df5 = df4.reset_index()
df6 = df5.rename(columns='level_0' : 'Date')
df7 = df6.groupby(['A', 'B', 'Date'])['Value'].sum()
最后几行让我有点难过。我希望在df6 我可以简单地将set_index 回到['A', 'B', 'Date']，但这并没有对这些值进行分组，因为它们在初始df DataFrame 中分组。
关于如何重新索引未堆叠的 DataFrame、重新堆叠并使 DataFrame 的格式与原始格式相同有什么想法吗？
【问题讨论】：
【参考方案1】：您可以根据现有多索引的级别的笛卡尔积制作新的多索引。然后，使用新索引重新索引您的数据框。
new_index = pd.MultiIndex.from_product(df.index.levels)
new_df = df.reindex(new_index)
# Optional: convert missing values to zero, and convert the data back
# to integers. See explanation below.
new_df = new_df.fillna(0).astype(int)
就是这样！新数据框具有所有可能的索引值。现有数据已正确编入索引。
继续阅读以获得更详细的说明。
说明
设置示例数据
import pandas as pd
df = pd.DataFrame('A': ['loc_a'] * 12 + ['loc_b'],
'B': ['group_a'] * 7 + ['group_b'] * 3 + ['group_c'] * 2 + ['group_a'],
'Date': ["2013-06-11",
"2013-07-02",
"2013-07-09",
"2013-07-30",
"2013-08-06",
"2013-09-03",
"2013-10-01",
"2013-07-09",
"2013-08-06",
"2013-09-03",
"2013-07-09",
"2013-09-03",
"2013-10-01"],
'Value': [22, 35, 14, 9, 4, 40, 18, 4, 2, 5, 1, 2, 3])
df.Date = pd.to_datetime(df.Date)
df = df.set_index(['A', 'B', 'Date'])
示例数据如下所示
Value
A B Date
loc_a group_a 2013-06-11 22
2013-07-02 35
2013-07-09 14
2013-07-30 9
2013-08-06 4
2013-09-03 40
2013-10-01 18
group_b 2013-07-09 4
2013-08-06 2
2013-09-03 5
group_c 2013-07-09 1
2013-09-03 2
loc_b group_a 2013-10-01 3
新建索引
使用from_product 我们可以创建一个新的多索引。这个新索引是旧索引所有级别的所有值的Cartesian product。
new_index = pd.MultiIndex.from_product(df.index.levels)
重新索引
使用新索引重新索引现有数据框。
new_df = df.reindex(new_index)
现在所有可能的组合都出现了。缺失值为空 (NaN)。
扩展后的重新索引数据框如下所示：
Value
loc_a group_a 2013-06-11 22.0
2013-07-02 35.0
2013-07-09 14.0
2013-07-30 9.0
2013-08-06 4.0
2013-09-03 40.0
2013-10-01 18.0
group_b 2013-06-11 NaN
2013-07-02 NaN
2013-07-09 4.0
2013-07-30 NaN
2013-08-06 2.0
2013-09-03 5.0
2013-10-01 NaN
group_c 2013-06-11 NaN
2013-07-02 NaN
2013-07-09 1.0
2013-07-30 NaN
2013-08-06 NaN
2013-09-03 2.0
2013-10-01 NaN
loc_b group_a 2013-06-11 NaN
2013-07-02 NaN
2013-07-09 NaN
2013-07-30 NaN
2013-08-06 NaN
2013-09-03 NaN
2013-10-01 3.0
group_b 2013-06-11 NaN
2013-07-02 NaN
2013-07-09 NaN
2013-07-30 NaN
2013-08-06 NaN
2013-09-03 NaN
2013-10-01 NaN
group_c 2013-06-11 NaN
2013-07-02 NaN
2013-07-09 NaN
2013-07-30 NaN
2013-08-06 NaN
2013-09-03 NaN
2013-10-01 NaN
整数列中的空值
可以看到新数据框中的数据已经从整数转换为浮点数了。 Pandas can't have nulls in an integer column。或者，我们可以将所有空值转换为 0，并将数据转换回整数。
new_df = new_df.fillna(0).astype(int)
结果
Value
loc_a group_a 2013-06-11 22
2013-07-02 35
2013-07-09 14
2013-07-30 9
2013-08-06 4
2013-09-03 40
2013-10-01 18
group_b 2013-06-11 0
2013-07-02 0
2013-07-09 4
2013-07-30 0
2013-08-06 2
2013-09-03 5
2013-10-01 0
group_c 2013-06-11 0
2013-07-02 0
2013-07-09 1
2013-07-30 0
2013-08-06 0
2013-09-03 2
2013-10-01 0
loc_b group_a 2013-06-11 0
2013-07-02 0
2013-07-09 0
2013-07-30 0
2013-08-06 0
2013-09-03 0
2013-10-01 3
group_b 2013-06-11 0
2013-07-02 0
2013-07-09 0
2013-07-30 0
2013-08-06 0
2013-09-03 0
2013-10-01 0
group_c 2013-06-11 0
2013-07-02 0
2013-07-09 0
2013-07-30 0
2013-08-06 0
2013-09-03 0
2013-10-01 0
【讨论】：
这很有帮助。我确实丢失了索引的名称，但这意味着我们正在查看 3 行代码而不是 2... 好的，4行代码：index_names = df.index.namesnew_index = pd.MultiIndex.from_product(df.index.levels)new_index.names = index_namesnew_df = df.reindex(tmp_new_index).fillna(0).astype(int)
pd.MultiIndex.from_product() 采用 names 位置参数，因此：new_index = pd.MultiIndex.from_product(df.index.levels, names=df.index.names)【参考方案2】：
您的问题不清楚您错过了哪些日期；我只是假设您想填写NaN 对于您确实在其他地方有观察的任何日期。如果这个假设是错误的，我的解决方案将不得不修改。
旁注：最好包含一行来创建DataFrame
In [55]: df = pd.DataFrame('A': ['loc_a'] * 12 + ['loc_b'],
....: 'B': ['group_a'] * 7 + ['group_b'] * 3 + ['group_c'] * 2 + ['group_a'],
....: 'Date': ["2013-06-11",
....: "2013-07-02",
....: "2013-07-09",
....: "2013-07-30",
....: "2013-08-06",
....: "2013-09-03",
....: "2013-10-01",
....: "2013-07-09",
....: "2013-08-06",
....: "2013-09-03",
....: "2013-07-09",
....: "2013-09-03",
....: "2013-10-01"],
....: 'Value': [22, 35, 14, 9, 4, 40, 18, 4, 2, 5, 1, 2, 3])
In [56]:
In [56]: df.Date = pd.to_datetime(df.Date)
In [57]: df = df.set_index(['A', 'B', 'Date'])
In [58]:
In [58]: print(df)
Value
A B Date
loc_a group_a 2013-06-11 22
2013-07-02 35
2013-07-09 14
2013-07-30 9
2013-08-06 4
2013-09-03 40
2013-10-01 18
group_b 2013-07-09 4
2013-08-06 2
2013-09-03 5
group_c 2013-07-09 1
2013-09-03 2
loc_b group_a 2013-10-01 3
要填充未观察到的值，我们将使用 unstack 和 stack 方法。取消堆叠将创建我们感兴趣的NaNs，然后我们会将它们堆叠起来使用。
In [71]: df.unstack(['A', 'B'])
Out[71]:
Value
A loc_a loc_b
B group_a group_b group_c group_a
Date
2013-06-11 22 NaN NaN NaN
2013-07-02 35 NaN NaN NaN
2013-07-09 14 4 1 NaN
2013-07-30 9 NaN NaN NaN
2013-08-06 4 2 NaN NaN
2013-09-03 40 5 2 NaN
2013-10-01 18 NaN NaN 3
In [59]: df.unstack(['A', 'B']).fillna(0).stack(['A', 'B'])
Out[59]:
Value
Date A B
2013-06-11 loc_a group_a 22
group_b 0
group_c 0
loc_b group_a 0
2013-07-02 loc_a group_a 35
group_b 0
group_c 0
loc_b group_a 0
2013-07-09 loc_a group_a 14
group_b 4
group_c 1
loc_b group_a 0
2013-07-30 loc_a group_a 9
group_b 0
group_c 0
loc_b group_a 0
2013-08-06 loc_a group_a 4
group_b 2
group_c 0
loc_b group_a 0
2013-09-03 loc_a group_a 40
group_b 5
group_c 2
loc_b group_a 0
2013-10-01 loc_a group_a 18
group_b 0
group_c 0
loc_b group_a 3
根据需要重新排序索引级别。
我不得不把fillna(0) 放在中间，这样NaNs 就不会掉下来。 stack 确实有 dropna 参数。我认为将其设置为 false 将保留所有 NaN 行。可能是一个错误？
【讨论】：
FWIW，stack() 的 dropna 参数适用于我使用 pandas 0.16.2以上是关于填补 MultiIndex Pandas Dataframe 中的日期空白的主要内容，如果未能解决你的问题，请参考以下文章
在 Pandas 中使用 .loc 和 MultiIndex
Pandas Dataframe 日期时间切片与 Index vs MultiIndex
将 pandas 系列的 numpy 矩阵转换为 Multiindex 系列
Pandas 通过 Tuple 重命名 MultiIndex 的单行