接收 KeyError：“[Int64Index([ ... dtype='int64', length=1323)] 均不在 [columns] 中”

Posted 2023-03-11

【中文标题】接收 KeyError：“[Int64Index([ ... dtype=\'int64\', length=1323)] 均不在 [columns] 中”

【英文标题】：Receiving KeyError: "None of [Int64Index([ ... dtype='int64', length=1323)] are in the [columns]"接收 KeyError：“[Int64Index([ ... dtype='int64', length=1323)] 均不在 [columns] 中”

【发布时间】：2019-09-16 10:45:02

【问题描述】：

总结

将测试和训练数据输入 ROC 曲线图时，我收到以下错误：

KeyError：“[Int64Index([ 0, 1, 2, ... dtype='int64', length=1323)] 均不在 [columns] 中”

错误似乎是说它不喜欢我的数据格式，但它在第一次运行时有效，我无法让它再次运行。

我是否错误地拆分了我的数据或将格式不正确的数据发送到我的函数中？

我尝试了什么

用相同的 KeyError 阅读多个 *** 帖子 重读scikit-learn example我关注了 查看了我以前版本的代码以进行故障排除

我在 CoLab 文档中运行它，可以查看 here

代码

我正在使用标准数据框来提取我的 X 和 Y 集：

X = df_full.drop(['Attrition'], axis=1)
y = df_full['Attrition'].as_matrix()

KeyError 追溯到这里的第 8 行：

def roc_plot(X, Y, Model):
    tprs = []
    aucs = []
    mean_fpr = np.linspace(0, 1, 100)
    plt.figure(figsize=(12,8))
    i = 0
    for train, test in kf.split(X, Y):
        probas_ = model.fit(X[train], Y[train]).predict_proba(X[test])
        # Compute ROC curve and area the curve
        fpr, tpr, thresholds = roc_curve(Y[test], probas_[:, 1])
        tprs.append(np.interp(mean_fpr, fpr, tpr))
        tprs[-1][0] = 0.0
        roc_auc = auc(fpr, tpr)
        aucs.append(roc_auc)
        plt.plot(fpr, tpr, lw=1, alpha=0.3,
                 label='ROC fold %d (AUC = %0.2f)' % (i, roc_auc))

        i += 1
    plt.plot([0, 1], [0, 1], linestyle='--', lw=2, color='r',
             label='Chance', alpha=.8)

    mean_tpr = np.mean(tprs, axis=0)
    mean_tpr[-1] = 1.0
    mean_auc = auc(mean_fpr, mean_tpr)
    std_auc = np.std(aucs)
    plt.plot(mean_fpr, mean_tpr, color='b',
             label=r'Mean ROC (AUC = %0.2f $\pm$ %0.2f)' % (mean_auc, std_auc),
             lw=2, alpha=.8)

    std_tpr = np.std(tprs, axis=0)
    tprs_upper = np.minimum(mean_tpr + std_tpr, 1)
    tprs_lower = np.maximum(mean_tpr - std_tpr, 0)
    plt.fill_between(mean_fpr, tprs_lower, tprs_upper, color='grey', alpha=.2,
                     label=r'$\pm$ 1 std. dev.')

    plt.xlim([-0.05, 1.05])
    plt.ylim([-0.05, 1.05])
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('Receiver operating characteristic example')
    plt.legend(loc="lower right")
    plt.show()

当我使用该函数运行以下命令时会发生这种情况：

model = XGBClassifier() # Create the Model
roc_plot(X, Y, Model)

预期结果

我应该能够将数据 X 和 Y 输入到我的函数中。

【问题讨论】：

你好，Mary。我认为错误上升是因为您正在使用需要使用 numpy 数组的数据帧。如果您查看回溯，您可以看到错误出现在 @987654326 行@;但是X 是一个数据框，正如我从您的代码中看到的那样。因此，请尝试执行以下操作：将行 X = df_full.drop(['Attrition'], axis=1) 和 Y = df_full['Attrition'].as_matrix() 替换为 X = df_full.drop(['Attrition'], axis=1).values 和 Y = df_full['Attrition'].values。训练模型时使用 numpy 数组更好（且可靠）。

错误没有发生在模型中，而是发生在 DataFrame 索引中，如堆栈跟踪 (__getitem__) 中进一步显示的那样。我无法在此处运行代码，但为了进一步调试，我建议仅隔离kf.split 部分并查看X 和y，并测试X[train] 或等效项中的哪一个失败。祝你好运！

作为猜测，看起来X[train] 正在尝试选择X 的列，而实际上，您想要选择行。如果是这种情况，用X.loc[train] 替换X[train] 和等效项应该可以。

【参考方案1】：

在这段代码中train, test 是索引数组，而您在从 DataFrame 中选择时将其用作列：

for train, test in kf.split(X, Y):
    probas_ = model.fit(X[train], Y[train]).predict_proba(X[test])

你应该改用iloc：

    probas_ = model.fit(X.iloc[train], Y.iloc[train]).predict_proba(X.iloc[test])