不平衡面板数据：如何使用时间序列拆分交叉验证？

Posted 2023-03-11

【中文标题】不平衡面板数据：如何使用时间序列拆分交叉验证？

【英文标题】：Unbalanced Panel data: How to use Time Series Splits Cross-Validation?

【发布时间】：2019-10-15 04:07:54

【问题描述】：

我目前正在处理一个不平衡的大型数据集，并且想知道是否可以使用 sklearn 的时间序列拆分交叉验证将我的训练样本拆分为多个“折叠”。我希望每个折叠仅包含该特定折叠时间范围内的横截面观察结果。

如前所述，我正在处理一个不平衡的面板数据集，该数据集利用了 Pandas 的多索引。这是一个可重复的示例，以提供更多直觉：

arrays = [np.array(['A', 'A', 'A', 'B', 'B', 'C', 'C', 'D', 'D', 'D', 'D']),
           np.array(['2000-01', '2000-02', '2000-03', '1999-12', '2000-01', 
          '2000-01', '2000-02', '1999-12', '2000-01', '2000-02', '2000-03'])]

s = pd.DataFrame(np.random.randn(11, 4), index=arrays)

然后看起来如下：

例如，我最初希望将 1999-12 年的所有横截面单位作为训练样本，并将 2000-01 年的所有横截面单位作为验证样本。接下来，我希望 1999 年 12 月和 2000 年 1 月的所有横截面单元作为训练，2000-02 年的所有横截面单元作为验证，依此类推。使用 TimeSeriesSplit 函数可以做到这一点，还是我需要看看其他地方？

【参考方案1】：

TimeSeriesSplit 是KFold 的变体，可确保在每个连续折叠中递增索引值。如文档中所述：

在每次拆分中，测试指数必须高于之前... [另请注意，与标准交叉验证方法不同，连续训练集是之前的训练集的超集。

docs

还要记住KFold 和TimeSeriesSplit 返回索引。你已经有了你想要的索引。

一个问题是访问 MultiIndex 中的 DateTimeIndex 切片过于困难和复杂。请参阅here、here 和 here。由于无论如何您都在提取数据，因此重置索引和切片似乎是可以接受的。特别是因为重置索引并没有发生。

最后，我建议将类似日期时间的索引转换为实际的日期时间数据类型。

import pandas as pd
import numpy as np
import datetime
arrays = [np.array(['A', 'A', 'A', 'B', 'B', 'C', 'C', 'D', 'D', 'D', 'D']),
           np.array(['2000-01', '2000-02', '2000-03', '1999-12', '2000-01', 
          '2000-01', '2000-02', '1999-12', '2000-01', '2000-02', '2000-03'])]

# Cast as datetime
arrays[1] = pd.to_datetime(arrays[1])


df = pd.DataFrame(np.random.randn(11, 4), index=arrays)
df.index.sort_values()


folds = df.reset_index() # df still has its multindex after this

# You can tack an .iloc[:, 2:] to the end of these lines for just the values
# Use your predefined conditions to access the datetimes
fold1 = folds[folds["level_1"] <=datetime.datetime(2000, 1, 1)]
fold2 = folds[folds["level_1"] == datetime.datetime(2000, 2, 1)]
fold3 = folds[folds["level_1"] == datetime.datetime(2000, 3, 1)]

【讨论】：

感谢您的回答。一个小问题：我如何将它与 gridsearch 结合使用，以便它选择在 3 折中评估的“最佳”参数？

我怀疑您最终会使用 GridSearch 的 cv 参数和/或 PredefinedSplit 这样做，但这似乎超出了问题的范围。如果您遇到麻烦，您可能需要发布一个新问题。