sklearn报错解决方案UndefinedMetricWarning: Precision is ill-defined and being set to 0.0

Posted 2022-07-20 征途黯然.

出错描述

  使用sklearn.metrics.precision_score计算精确率时，出现报错：UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 in samples with no predicted labels.

问题原理分析

  精确率计算的是所有样本的平均精确率。而对于每个样本来说，精确率就是预测正确的标签数在整个预测为正确的标签数中的占比。其计算公式为：

  例如对于某个样本来说，其真实标签为[0, 1, 0, 1]，预测标签为[0, 0, 0, 0]。那么该样本对应的精确率就应该为：（0 + 1 + 0 + 0） / （0 + 0 + 0 + 0），这时就会报错。

情况一

  假设有数据：样本数batch_size = 5，标签数label_num = 4。y_true为真实标签，y_pred为预测标签值。

y_true = np.array([[0, 1, 0, 1],
                   [0, 1, 1, 0],
                   [0, 0, 1, 0],
                   [1, 1, 1, 0],
                   [1, 0, 1, 1]])

y_pred = np.array([[0, 1, 1, 0],
                   [0, 1, 1, 0],
                   [0, 0, 1, 0],
                   [0, 1, 1, 0],
                   [0, 1, 0, 1]])

  对照上面给的数据y_true、y_pred。那么该样本对应的准确率就应该为：
$$\frac{1}{5}\ast (\frac{1}{2}+\frac{2}{2}+\frac{1}{1}+\frac{2}{2}+\frac{1}{2})=0.8$$

情况二

  假设数把y_pred的某一行改为全0，数据如下。

y_true = np.array([[0, 1, 0, 1],
                   [0, 1, 1, 0],
                   [0, 0, 1, 0],
                   [1, 1, 1, 0],
                   [1, 0, 1, 1]])

y_pred = np.array([[0, 1, 1, 0],
                   [0, 1, 1, 0],
                   [0, 0, 1, 0],
                   [0, 1, 1, 0],
                   [0, 0, 0, 0]])

  对照上面给的数据y_true、y_pred。那么该样本对应的准确率就应该为：
$$\frac{1}{5}\ast (\frac{1}{2}+\frac{2}{2}+\frac{1}{1}+\frac{2}{2}+0)=0.7$$

情况三

  假设数把y_pred改为全0，数据如下。

y_true = np.array([[0, 1, 0, 1],
                   [0, 1, 1, 0],
                   [0, 0, 1, 0],
                   [1, 1, 1, 0],
                   [1, 0, 1, 1]])

y_pred = np.array([[0, 0, 0, 0],
                   [0, 0, 0, 0],
                   [0, 0, 0, 0],
                   [0, 0, 0, 0],
                   [0, 0, 0, 0]])

  对照上面给的数据y_true、y_pred。那么该样本对应的准确率就应该为：
$$\frac{1}{5}\ast (0+0+0+0+0)=0.0$$

【注】所以如果有除数为0，sklearn中会默认把数值置为0来计算。

解决办法

  直接忽略警告即可。

import warnings
warnings.filterwarnings("ignore")

【注】一般一个batch_size都会在32-128，所以有个别样本的精确率为0，最后取平均也还能接收，直接忽略警告就行。