为啥我的精确召回和 ROC 曲线不平滑？

Posted 2023-03-12

【中文标题】为啥我的精确召回和 ROC 曲线不平滑？

【英文标题】：Why are my precision-recall and ROC curves not smooth?为什么我的精确召回和 ROC 曲线不平滑？

【发布时间】：2018-12-27 15:23:47

【问题描述】：

我有一些数据标记为 0 或 1，我正在尝试使用随机森林来预测这些类。每个实例都标有 20 个用于训练随机森林的特征（约 30.000 个训练实例和约 6000 个测试实例。

我正在使用以下代码绘制精确召回和 ROC 曲线：

precision, recall, _ = precision_recall_curve(y_test, y_pred)
plt.step(recall, precision, color='b', alpha=0.2,where='post')
plt.fill_between(recall, precision, step='post', alpha=0.2, color='b')

fpr, tpr, _ = roc_curve(y_test, y_pred)
roc_auc = auc(fpr, tpr)
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')

到目前为止，我看到的所有 PR 和 ROC 曲线在精度/召回率上总是呈锯齿状/平滑下降，而 ROC 线则呈平滑/锯齿状增加。但是我的 PR 和 ROC 曲线由于某种原因总是这样：

出于某种原因，只有一个点可以改变方向。这是由于我的编码错误还是数据/分类问题固有的原因？如果是这样，如何解释这种行为？

【问题讨论】：

你的y_pred概率是目标类还是实际预测类？

查看我的答案并告诉我

【参考方案1】：

我怀疑您使用了 RandomForestClassifier.predict() 方法，该方法根据预测的类导致 0 或 1。

要获得概率，即投票给特定类的树的比例，您必须使用 RandomForestClassifier.predict_proba() 方法。

使用这些概率作为曲线计算的输入应该可以解决问题。

编辑：scikit-learn 的曲线创建方法首先根据预测分数对预测进行排序，然后根据它们的真实/观察值对预测进行排序，因此曲线具有这些“弯曲”。

【讨论】：

这正是我所需要的，愚蠢的错误。曲线现在看起来很漂亮:)

【参考方案2】：

在precision_recall_curve 内，y_pred 必须是目标类的probabilities而不是实际预测的类。

由于您使用的是RandomForestClassifier，因此请使用predict_proba(X) 来获取概率。

rf = RandomForestClassifier()
probas_pred = rf.predict_proba(X_test)

precision, recall, _ = precision_recall_curve(y_true, probas_pred)
plt.step(recall, precision, color='b', alpha=0.2,where='post')
plt.fill_between(recall, precision, step='post', alpha=0.2, color='b')