平均精度均值(mAP)——目标检测模型性能统计量

Posted 2021-01-17 guoyaohua

　　在机器学习领域，对于大多数常见问题，通常会有多个模型可供选择。当然，每个模型会有自己的特性，并会受到不同因素的影响而表现不同。

　　每个模型的好坏是通过评价它在某个数据集上的性能来判断的，这个数据集通常被叫做“验证/测试”数据集。这个性能由不同的统计量来度量，包括准确率（ accuracy ）、精确率（ precision ）、召回率（ recall ）等等。选择我们会根据某个特定的应用场景来选择相应的统计量。而对每个应用来说，找到一个可以客观地比较模型好坏的度量标准至关重要。

在本文，我们将会讨论目标检测问题中最常用的度量标准 --- 平均精度均值（Mean Average Precision, mAP）。

　　大多数情况下，这些度量标准都很容易理解和计算。例如，在二类分类问题中，精确率和召回率都是简单和直观的统计量。　　

　　而另一方面，目标检测则是一个相对不同且很有意思的问题。

　　即使你的目标检测器检测到一张图片中有猫，但是如果你找不到这只猫在图片中的具体位置，那么这个检测器也是没有任何用处的。

　　由于你现在需要预测一张图片中目标是否出现及其具体位置，那么我们如何计算这个度量就变得相当有意思了。

　　首先，让我们定义目标检测问题，这样我们可以对问题有一个统一的认识。

▌目标检测问题

　　对于“目标检测问题”，我的意思是，给定一张图片，找到图中的所有目标，确定他们的位置并对他们进行分类。

　　目标检测模型通常是在给定的固定类别上进行训练的，因此模型在图中只能定位和分类这些已有的类别。

　　此外，目标的位置通常是用边界矩形/边界框的形式来确定的。

　　因此，目标检测包含了两个任务，确定图片中目标的位置，以及对目标进行分类。

图1- 几个比较有名的图像处理问题，图片来自斯坦福大学 CS231n 课程幻灯片（第8讲）

　　如下文所说，平均精度均值 mAP 是预测目标位置以及类别的这一类算法的性能度量标准。因此，从图1我们可以看到， mAP 对于评估目标定位模型、目标检测模型以及实例分割模型非常有用。

▌评估模型检测模型

　　为什么选择 mAP？

　　目标检测问题中，每张图片中可能会含有不同类别的不同目标。如前文所说，模型的分类和定位性能都需要被评估。

　　因此，精确率，这个图像分类问题中使用的标准的评价度量，并不能直接用在这里。现在，是平均精度均值 mAP 发挥作用的时候了。我希望，读完本文之后你可以理解 mAP 的含义和意义。

　　关于参考标准（Ground Truth）

　　对于任何算法来说，度量的值总是把预测值和参考标准的信息进行比较之后计算得到的。我们只知道训练、验证和测试数据集的参考标准信息。

　　在目标检测问题中，参考标准的信息包括图像，图像中目标的类别，以及每个目标的真实边界框。

• 一个例子

　　我们给定了真实图片（jpg， png 等格式）和其他解释性文字（边界框的坐标（ x， y，宽度和高度）和类别），画在图片上的红色框和文本标签只是方便我们自己观看。

 

参考标准信息的可视化

　　因此，对于这个特定的例子，我们的模型在训练期间得到的其实是这张图片：

实际图片

　　以及三组定义了参考标准的数字（让我们假设这张图片的分辨率是 1000 x 800 像素，表中所有坐标的单位都是像素，坐标值大小是估计的）

　　让我们实际操作一下，看看 mAP 是如何计算的。

　　我会在另一篇文章介绍各种目标检测算法，包括它们的方法以及性能。现在，让我们假设我们手上已经有一个训练好的模型，而且我们将在验证数据集上评估它的结果。

▌计算 mAP

　　让我们假设原始图片和参考标准的解释性文字如上文所述。训练数据和验证数据的所有图像以相同的方法进行了标注。

　　训练好的模型会返回许多预测结果，但是这些预测结果中的大多数都会有非常低的置信度分数，因此我们只需考虑那些超过某个报告置信度分数的预测结果。

　　我们用模型对原始图像进行处理，下面是目标检测模型在置信度阈值化之后返回的结果。

　　带有边界框的图像：

来自我们模型的结果

　　我们可以说这些检测结果是正确的，但是我们怎么量化呢？

　　首先，我们需要知道每个检测结果的正确性。能够告诉我们一个给定的边界框的正确性的度量标准是“交并比”（Intersection over Union,  IoU）。这是一个非常简单的可视量。

　　就文字而言，某些人可能会说这个量的名字本身就已经解释了自己的含义，但是我们需要更好的解释。我会简单地解释 IoU 的含义，对于那些很想深入了解 IoU 含义的读者，Adrian Rosebrock 有一篇写得非常好的文章，可以作为该内容的补充。

（https://www.pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/）

IoU

　　交并比是预测边界框和参考边界框的交集和并集之间的比率。这个统计量也叫做 Jaccard 指数（Jaccard Index），是由 Paul Jaccard 在 20 世纪初首次提出的。

　　要获得交集和并集的值，我们首先把预测边界框覆盖在参考边界框之上。（如图所示）

　　现在对于每个类别，预测边界框和参考边界框的重叠部分叫做交集，而两个边界框跨越的所有区域叫做并集。

　　我们仅以这匹马作为例子

　　上图中类别为马的交集和并集区域看上去就像这样：

　　这个例子中交集区域相当大

　　交集覆盖的是边界框重合区域（蓝绿色区域），并集覆盖的是橙色和蓝绿色的所有区域。

　　然后， IoU 可以像这样计算：

分辨正确检测结果和计算精确率

　　利用 IoU ，我们现在要分辨检测结果是否正确。最常用的阈值是0.5：如果 IoU > 0.5，那么认为这是一个正确检测，否则认为这是一个错误检测。

　　现在我们为模型生成的每一个检测框计算其 IoU 值（置信度阈值化之后）。利用该 IoU 值以及我们的 IoU 阈值（例如 0.5），我们为图片中的每一个类计算其正确检测的数量（A）。

　　现在对于每一张图片，我们都有参考标准的数据，可以告诉我们在图片中某个特定类别的真实目标数量（B）。而且我们已经计算了正确预测的数量（A）（True Positives）。因此现在我们可以用这条公式计算模型对该类别的精确率（A/B）。

 

　　给定的图片中类别 C 的精确率=图片中类别 C 的真正类数量/图片中类别 C 所有目标的数量

　　对于一个给定的类别，让我们对验证集中的每张图片都计算它的精确率。假设我们的验证集中有 100 张图片，并且我们知道每张图片都包含了所有的类别（根据参考标准告诉我们的信息）。这样对于每个类别，我们会有 100 个精度率的值（每张图片一个值）。让我们对这些 100 个值进行平均。这个平均值叫做该类的平均精度（Average Precision）。

 

　　某个类别（C）的平均精度=验证集中该类（C）的所有精确率的和/含有该类别（C）目标的图像数量

　　现在，假设在我们整个数据集中有 20 个类别。对每一个类别，我们都会进行相同的操作：计算 IoU  -> 精确率（Precision）-> 平均精度（Average Precision）。所以我们会有 20 个不同的平均精度值。利用这些平均精度值，我们可以很轻松地判断我们的模型对任何给定的类别的性能。

　　为了只用一个数字来表示一个模型的性能（一个度量解决所有问题），我们对所有类别的平均精度值计算其均值（average/mean）。这个新的值，就是我们的平均精度均值 mAP （Mean Average Precision）！！（我得说，这个命名非常有创意）

　　平均精度均值=所有类别的平均精度值之和/所有类别的数目

　　所以，平均精度均值即数据集中所有类别的平均精度的均值。

　　当我们比较 mAP 值的时候要记得几个重要的点：

• • mAP 总是在固定的数据集上进行计算。

• • mAP 并不是量化模型输出的绝对度量，但它是一个不错的相对度量。当我们在流行的公开数据集上计算这个度量时，它可以很容易地被用来比较目标检测的新老方法的性能好坏，因此我们并不需要一个绝对度量。

• • 根据不同的类别在训练数据中的分布情况不同，平均精度值可能对于某些类别（这些类别有很好的训练数据）非常高，然后对于某些类别（这些类别有更少的数据或者坏数据）可能非常低。所以，你的 mAP 值可能看上去还不错，但是你的模型可能只对某些类别较好，而对某些类别的效果非常差。因此，当分析你的模型结果时，最好单独类别的平均精度值。这些值过低的话可能意味着需要添加更多的训练样本了。