10个交叉折叠的混淆矩阵 - 如何做到pandas dataframe df

Posted 2023-03-12

【中文标题】10个交叉折叠的混淆矩阵 - 如何做到pandas dataframe df

【英文标题】：Confusion Matrix for 10 cross fold - How to do it pandas dataframe df

【发布时间】：2021-02-13 10:26:15

【问题描述】：

我正在尝试为任何模型（随机森林、决策树、朴素贝叶斯等）获取 10 倍混淆矩阵 如果我运行正常模型，我可以正常获取每个混淆矩阵，如下所示：

    from sklearn.model_selection import train_test_split
    from sklearn import model_selection
    from sklearn.ensemble import RandomForestClassifier
    from sklearn.metrics import roc_auc_score
    
    # implementing train-test-split
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.34, random_state=66)
    
    # random forest model creation
    rfc = RandomForestClassifier(n_estimators=200, random_state=39, max_depth=4)
    rfc.fit(X_train,y_train)
    # predictions
    rfc_predict = rfc.predict(X_test)
    
    print("=== Confusion Matrix ===")
    print(confusion_matrix(y_test, rfc_predict))
    print('\n')
    print("=== Classification Report ===")
    print(classification_report(y_test, rfc_predict))

输出[1]：

=== 混淆矩阵 === [[16243 1011] [ 827 16457]] === 分类报告 === 精确召回 f1 分数支持 0 0.95 0.94 0.95 17254 1 0.94 0.95 0.95 17284 精度 0.95 34538 宏平均 0.95 0.95 0.95 34538 加权平均 0.95 0.95 0.95 34538

但是，现在我想获得 10 cv fold 的混淆矩阵。我应该如何接近或做到这一点。我试过了，但没有用。

    # from sklearn import cross_validation
    from sklearn.model_selection import cross_validate
    kfold = KFold(n_splits=10)
    
    conf_matrix_list_of_arrays = []
    kf = cross_validate(rfc, X, y, cv=kfold)
    print(kf)
    for train_index, test_index in kf:
    
        X_train, X_test = X[train_index], X[test_index]
        y_train, y_test = y[train_index], y[test_index]
    
        rfc.fit(X_train, y_train)
        conf_matrix = confusion_matrix(y_test, rfc.predict(X_test))
        conf_matrix_list_of_arrays.append(conf_matrix)

数据集由这个数据帧 dp 组成

温度系列 平行阴影 电池数量 电压(V) 电流(I) I/V 太阳能电池板 电池阴影百分比 IsShade 30 10 1 2 10 1.11 2.19 1.97 1985 1 20.0 1 27 5 2 10 10 2.33 4.16 1.79 1517 3 100.0 1 30 5 2 7 10 2.01 4.34 2.16 3532 1 70.0 1 40 2 4 3 8 1.13 -20.87 -18.47 6180 1 37.5 1 45 5 2 4 10 1.13 6.52 5.77 8812 3 40.0 1

【参考方案1】：

从help page for cross_validate 开始，它不会返回用于交叉验证的索引。您需要使用示例数据集从（分层）KFold 访问索引：

from sklearn import datasets, linear_model
from sklearn.metrics import confusion_matrix
from sklearn.model_selection import cross_val_predict
from sklearn.ensemble import RandomForestClassifier

data = datasets.load_breast_cancer()
X = data.data
y = data.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.34, random_state=66)

skf = StratifiedKFold(n_splits=10,random_state=111,shuffle=True)
skf.split(X_train,y_train)

rfc = RandomForestClassifier(n_estimators=200, random_state=39, max_depth=4)
y_pred = cross_val_predict(rfc, X_train, y_train, cv=skf)

我们申请cross_val_predict 来获取所有预测：

y_pred = cross_val_predict(rfc, X, y, cv=skf)

然后使用索引将这个 y_pred 拆分为每个混淆矩阵：

mats = []
for train_index, test_index in skf.split(X_train,y_train):
    mats.append(confusion_matrix(y_train[test_index],y_pred[test_index]))
    

看起来像这样：

mats[:3]

[array([[13,  2],
        [ 0, 23]]),
 array([[14,  1],
        [ 1, 22]]),
 array([[14,  1],
        [ 0, 23]])]

检查矩阵列表和总和的相加是否相同：

np.add.reduce(mats)

array([[130,  14],
       [  6, 225]])

confusion_matrix(y_train,y_pred)

array([[130,  14],
       [  6, 225]])

【讨论】：

给出这个错误 - ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

对不起，是什么给了你一个错误？在您的数据集上运行上面的代码还是运行上面的代码？我注意到我上面的代码中有一个错字并更正了，所以如果你在上面运行它应该可以工作

表示您的数据有些不同

在这一行给出错误 - mats.append(confusion_matrix(y_train[test_index],y_pred[test_index])) ..........我认为这是因为我有数据集2d 正如我在问题顶部的最后一个提到的那样。你介意我们是否可以在 LinkedIn 上联系 - linkedin.com/in/kevalcshah0510

抱歉@KevalShah 似乎没有人能够重现您的错误。

【参考方案2】：

对我来说，这里的问题在于 kf 的不正确解包。事实上，cross_validate() 默认返回带有 test_scores 和 fit/score 时间的数组字典。

您可以改用 Kfold 实例的 split() 方法，它可以帮助您生成索引以将数据拆分为训练和测试（验证）集。因此，通过更改为

for train_index, test_index in kfold.split(X_train, y_train):

你应该得到你想要的。

【讨论】：

它给出错误 - AttributeError Traceback (最近一次调用最后) in 8 print(kf) 9 #for train_index, test_index in kf: -- -> 10 for train_index, test_index in kf.split(X_train, y_train): 11 12 X_train, X_test = X[train_index], X[test_index] AttributeError: 'dict' object has no attribute 'split'

你应该在 kfold 而不是 kf 上调用 split()。事实上，KFold 类实现了方法 split()。

此外，另一种可行的方法是使用cross_val_predict() 获取对每个测试折叠所做的预测，然后在获得的预测上调用confusion_matrix()，如下所示：y_train_pred = cross_val_predict(rfc, X_train, y_train, cv=10) confusion_matrix(y_train, y_train_pred) 但是，我没有在答案中报告它，因为据我所知，您希望每个 cv 折叠获得一个混淆矩阵，而由于cross_val_predict 的特异性，y_train_pred 将是一个一维数组。

---> 12 X_train, X_test = X[train_index], X[test_index] ....KeyError: “没有 [Int64Index([ 6705, 6706, 6707, 6708, 6709, 6710, 6711, 6712, 6713,\n 6714,\n ...\n 67032, 67033, 67034, 67035, 67036, 67037, 6703 67039, 67040,\n 67041],\n dtype='int64', length=60337)] 在[列]"

我想重点是 X 对你来说仍然是一个 DataFrame，你应该使用 iloc() 访问它。