非平衡面板数据：如何使用时间序列分裂交叉验证？

Question

我目前正在处理一个巨大的不平衡数据集，并想知道是否有可能使用sklearn的时间序列分裂交叉验证来将我的训练样本分裂成几个“折叠”。我希望每个褶皱只包含在特定褶皱的时间框架内的横截面观察。

如前所述，我正在使用一个非平衡面板数据集，它利用了Pandas的多索引。这里有一个可重复的例子来提供更多的直觉：

arrays = [np.array(['A', 'A', 'A', 'B', 'B', 'C', 'C', 'D', 'D', 'D', 'D']),
           np.array(['2000-01', '2000-02', '2000-03', '1999-12', '2000-01', 
          '2000-01', '2000-02', '1999-12', '2000-01', '2000-02', '2000-03'])]

s = pd.DataFrame(np.random.randn(11, 4), index=arrays)

例如，我希望最初将1999-12年的所有横截面单元作为训练样本，并将2000-01年的所有横截面单元作为验证。接下来，我希望将1999-12和2000-01中的所有横截面单元作为训练，并将2000-02中的所有横截面单元作为验证，以此类推。使用TimeSeriesSplit函数可以这样做吗，或者我需要查看其他地方？

Answer 1

TimeSeriesSplit是Kfold的变体，它确保在每个连续的fold中索引值都是升序的。如文件所述：

在每一次分裂中，测试指标必须高于以前...[另外]注意，与标准交叉验证方法不同，连续的训练集是它们之前的训练集的超集。

文档

import pandas as pd
import numpy as np
import datetime
arrays = [np.array(['A', 'A', 'A', 'B', 'B', 'C', 'C', 'D', 'D', 'D', 'D']),
           np.array(['2000-01', '2000-02', '2000-03', '1999-12', '2000-01', 
          '2000-01', '2000-02', '1999-12', '2000-01', '2000-02', '2000-03'])]

# Cast as datetime
arrays[1] = pd.to_datetime(arrays[1])


df = pd.DataFrame(np.random.randn(11, 4), index=arrays)
df.index.sort_values()


folds = df.reset_index() # df still has its multindex after this

# You can tack an .iloc[:, 2:] to the end of these lines for just the values
# Use your predefined conditions to access the datetimes
fold1 = folds[folds["level_1"] <=datetime.datetime(2000, 1, 1)]
fold2 = folds[folds["level_1"] == datetime.datetime(2000, 2, 1)]
fold3 = folds[folds["level_1"] == datetime.datetime(2000, 3, 1)]