异构 DataFrame 上的 StratifiedKfold

Posted 2023-03-12

【中文标题】异构 DataFrame 上的 StratifiedKfold

【英文标题】：StratifiedKfold over heterogeneous DataFrame

【发布时间】：2016-10-27 05:52:33

【问题描述】：

我有一个 pandas 数据帧，其中包含字符串和浮点列，为了训练 sklearn 管道，需要将它们分成平衡的切片。

理想情况下，我会在 DataFrame 上使用 StratifiedKFold 来获取较小的数据块以进行交叉验证。但它抱怨我有不可排序的类型，像这样：

import pandas as pd
from sklearn.cross_validation import StratifiedKFold

dataset = pd.DataFrame(
    [
        'title': 'Dábale arroz a la zorra el abad', 'size':1.2, 'target': 1,
        'title': 'Ana lleva al oso la avellana', 'size':1.0, 'target': 1,
        'title': 'No te enrollé yornetón', 'size':1.4, 'target': 0,
        'title': 'Acá sólo tito lo saca', 'size':1.4, 'target': 0,
    ])
skfs = StratifiedKFold(dataset, n_folds=2)

>>>  TypeError: unorderable types: str() > float()

有一些方法可以获取折叠索引并对 DataFrame 进行切片，但我认为这并不能保证我的类会保持平衡。

分割我的 DataFrame 的最佳方法是什么？

【参考方案1】：

StratifiedKFold 需要拆分次数，.split() 方法使用标签的类分布对样本进行分层。假设你的label 是target，你会：

from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=2)
X=dataset.drop('target', axis=1)
y=dataset.target
for train_index, test_index in skf.split(X, y):
    X_train, X_test = X.iloc[train_index], X.iloc[test_index]
    y_train, y_test = y.iloc[train_index], y.iloc[test_index]

【讨论】：

自 0.18 版后已弃用：此模块将在 0.20 中删除。请改用 sklearn.model_selection.StratifiedKFold。

或者，不从数据集中删除任何内容，只需执行skf.split(dataset, dataset.target)

【参考方案2】：

sklearn.cross_validation.StratifiedKFold 自 0.18 版起已弃用，并将在 0.20 版中删除。所以这是另一种方法：

from sklearn.model_selection import StratifiedKFold

skf = StratifiedKFold(n_splits=2)
t = dataset.target
for train_index, test_index in skf.split(np.zeros(len(t)), t):
    train = dataset.loc[train_index]
    test = dataset.loc[test_index]

【讨论】：

使用iloc 可能更通用，因为我认为train_index 和test_index 给出行号