目标检测基础

Posted 2023-03-25

参考技术A 实际上是人工生成一系列有限个框，然后给这些框打标签

目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truth bounding box）。不同的模型使用的区域采样方法可能不同。这里我们介绍其中的一种方法：它以每个像素为中心生成多个大小和宽高比（aspect ratio）不同的边界框。这些边界框被称为锚框（anchor box）。

假设输入图像高为 ，宽为 。我们分别以图像的每个像素为中心生成不同形状的锚框。设大小为 且宽高比为 ，那么锚框的宽和高将分别为 和 hs/\sqrtr 。当中心位置给定时，已知宽和高的锚框是确定的。

下面我们分别设定好一组大小 和一组宽高比 。如果以每个像素为中心时使用所有的大小与宽高比的组合，输入图像将一共得到 个锚框。虽然这些锚框可能覆盖了所有的真实边界框，但计算复杂度容易过高。因此，我们通常只对包含 或 的大小与宽高比的组合感兴趣，即

也就是说，以相同像素为中心的锚框的数量为 。对于整个输入图像，我们将一共生成 个锚框。

我们刚刚提到某个锚框较好地覆盖了图像中的狗。如果该目标的真实边界框已知，这里的“较好”该如何量化呢？一种直观的方法是衡量锚框和真实边界框之间的相似度。我们知道，Jaccard系数（Jaccard index）可以衡量两个集合的相似度。给定集合 A 和 B ，它们的Jaccard系数即二者交集大小除以二者并集大小：

实际上，我们可以把边界框内的像素区域看成是像素的集合。如此一来，我们可以用两个边界框的像素集合的Jaccard系数衡量这两个边界框的相似度。当衡量两个边界框的相似度时，我们通常将Jaccard系数称为交并比（Intersection over Union，IoU），即两个边界框相交面积与相并面积之比，如图9.2所示。交并比的取值范围在0和1之间：0表示两个边界框无重合像素，1表示两个边界框相等。

在训练集中，我们将每个锚框视为一个训练样本。为了训练目标检测模型，我们需要为每个锚框标注两类标签：一是锚框所含目标的类别，简称类别；二是真实边界框相对锚框的偏移量，简称偏移量（offset）。在目标检测时，我们首先生成多个锚框，然后为每个锚框预测类别以及偏移量，接着根据预测的偏移量调整锚框位置从而得到预测边界框，最后筛选需要输出的预测边界框。

在模型预测阶段，我们先为图像生成多个锚框，并为这些锚框一一预测类别和偏移量。随后，我们根据锚框及其预测偏移量得到预测边界框。当锚框数量较多时，同一个目标上可能会输出较多相似的预测边界框。为了使结果更加简洁，我们可以移除相似的预测边界框。常用的方法叫作非极大值抑制（non-maximum suppression，NMS）。

我们来描述一下非极大值抑制的工作原理。对于一个预测边界框 ，模型会计算各个类别的预测概率。设其中最大的预测概率为 ，该概率所对应的类别即 的预测类别。我们也将 称为预测边界框 的置信度。在同一图像上，我们将预测类别非背景的预测边界框按置信度从高到低排序，得到列表 。从 中选取置信度最高的预测边界框 作为基准，将所有与 的交并比大于某阈值的非基准预测边界框从 中移除。这里的阈值是预先设定的超参数。此时， 保留了置信度最高的预测边界框并移除了与其相似的其他预测边界框。 接下来，从 中选取置信度第二高的预测边界框 作为基准，将所有与 的交并比大于某阈值的非基准预测边界框从 中移除。重复这一过程，直到 中所有的预测边界框都曾作为基准。此时 中任意一对预测边界框的交并比都小于阈值。最终，输出列表 中的所有预测边界框。

在1.节 锚框中，我们在实验中以输入图像的每个像素为中心生成多个锚框。这些锚框是对输入图像不同区域的采样。然而，如果以图像每个像素为中心都生成锚框，很容易生成过多锚框而造成计算量过大。举个例子，假设输入图像的高和宽分别为561像素和728像素，如果以每个像素为中心生成5个不同形状的锚框，那么一张图像上则需要标注并预测200多万个锚框 。

减少锚框个数并不难。一种简单的方法是在输入图像中均匀采样一小部分像素，并以采样的像素为中心生成锚框。此外，在不同尺度下，我们可以生成不同数量和不同大小的锚框。值得注意的是，较小目标比较大目标在图像上出现位置的可能性更多。举个简单的例子：形状为 的目标在形状为 的图像上可能出现的位置分别有4、2和1种。因此，当使用较小锚框来检测较小目标时，我们可以采样较多的区域；而当使用较大锚框来检测较大目标时，我们可以采样较少的区域。