特征，特征不变性，尺度空间与图像金字塔

Posted 2021-01-23 shine-lee

博客：blog.shinelee.me | 博客园 | CSDN

特征

在计算机视觉领域，特征是为了完成某一特定任务需要的相关信息。比如，人脸检测中，我们需要在图像中提取特征来判断哪些区域是人脸、哪些区域不是人脸，人脸验证中，我们需要在两个人脸区域分别提取特征，来判断他们是不是同一个人，如下图所示，深度神经网络最终得到一个128维的特征用于识别等任务，图片来自Openface

常用的特征包括：图像灰度or灰度、直方图、梯度、边缘、纹理、矩、SIFT、深度学习特征等等。以关键点特征为例，关键点指的是可以稳定出现的特殊点，如角点、局部极值点等，如上图中人脸中眼鼻口处的关键点，先检测图像中的关键点，然后在以该点为中心的邻域范围内提取信息，作为该点的特征描述。关键点特征的好处在于，关键点可以稳定复现同时其特征描述聚焦在关键点邻域内，对遮挡、形变等有很好鲁棒性。以SIFT描述子为例，其将关键点周围的梯度统计直方图作为该点的特征，如下图所示，图片来自链接。

不同的特征适用范围也不同，有些特征对光照敏感，有些特征对形变敏感，需要根据任务场景选择适合的特征——适合的才是最好的，不是什么时候都要上牛刀。如果任务场景简单，比如明确知道光照条件不变、人脸基本正面且表情妆容没有变化，可能直接使用灰度或梯度进行模板匹配就可以识别了，但如果场景复杂，光照可能变化、表情可能变化、人脸角度也不确定，那么为了完成任务，选取的特征就需要有较好的适应性，这就要谈到特征不变性。

特征不变性

以上图为例，左右两图中玩具车的姿态不同、大小不同、图像亮度不同，对应局部（图中黄色小块）在各自图中的绝对位置不同、大小不同、方向不同、灰度不同，为了实现配准，就需要在局部提取的特征具有某些不变性，才能够匹配上。

• 几何不变性（geometric invariance）：平移，旋转，尺度……
• 光度不变性（photometric invariance）：亮度，曝光……

图像预处理通过对输入图像进行归一化（最大最小值归一化、均值方差归一化、直方图均衡化等），能在一定程度上做到对亮度或光照鲁棒。此外，在设计特征提取算法时，通过考虑相对信息和统计信息（比如梯度、直方图等），降低对灰度（颜色）绝对值的敏感度，可以进一步做到对亮度或光照鲁棒。

通过使用局部窗口内的像素信息和相对位置信息，局部特征一般都能做到平移无关。要做到旋转无关，则需要将窗口以某个主方向对齐后再提取局部特征，如图中倾斜的黄色小块，主方向可以是窗口内最集中的梯度方向。

接下来，讲述一下如何做到尺度无关。

尺度空间

尺度，可以通过地图的比例尺来理解，如下图所示，如果以100米为单位进行观测（称为图100），箭头处有一个角点A，如果以5米为单位进行观测（成为图5），则A附近多了一个凹陷B，而这个凹陷B在图100中是看不见的，为什么呢？尺度空间理论认为是被平滑掉了，即低尺度下可以看清细节，高尺度下细节会被平滑掉只剩下更“宏观”的特征，因此可知

• 特征是有尺度的，在某个尺度下B是关键点（图5中），但在更大的尺度下可能就不是了（图100中）
• 需要在对应的尺度下提取特征，既然B仅在图5的尺度下是关键点，其特征自然需要在图5的尺度下提取

如果两幅图像的尺度不同该如何匹配？图100和图5中的A是同一个点，但因为尺度不同，邻域差异很大，在各自的邻域中提取的特征自然不同，为了让它们能匹配上，需要对图5构建尺度空间，获得不同尺度下的表达，具体怎么做呢？保持图5图像尺寸不变，不断（高斯）平滑，直到B处的凹陷平滑没了（与图100相似），达到与图100相近的尺度，图100中在A邻域内（比如(10 imes 10)）提取特征（比如SIFT），图5中在A邻域内（(200 imes 200)）提取特征，两者在各自图像中提取的SIFT特征长度相同（将领域划分成同样数量的子区域，然后在子区域中统计梯度直方图，某种程度上讲是对邻域窗口的归一化后再提取特征），这样就可以匹配上了。

平滑类似如下过程，最下面一行为原始信号，每一行对应一个尺度：

一般来讲，在没有先验知识的情况下，对两幅图像分别在每个尺度上检测关键点并提取特征，总有某些关键点及其特征正好来自相同的尺度，如果它们恰好可以匹配上，则图像1和图像2匹配，反之，如果所有关键点都配不上，则图像1和图像2不匹配。

小结一下：尺度空间，是在信号长度不变的情况下（如上图(f(x))到(f^t(x))），通过（高斯）平滑，获得信号在不同尺度下的表达，然后使用尺度对应大小的窗口进行观测和提取特征。因为获得了原始信号在所有尺度下的特征，这些特征在整体上做到了尺度无关——因为原始信号各种尺度的特征都有了。

图像金字塔

尺度空间中，不同尺度下观测窗口的像素尺寸是不同，还有另外一种情况，保持观测窗口大小不变，让图像尺寸发生变化。以人脸检测为例，通常训练结束后，方法中用到的滤波器、卷积核的参数和尺寸就固定了，因此提取到的特征只适用于检测像素大小在某个范围内的人脸，超出这个范围的人脸就检测不出来了。但是，在没有先验知识的情况下，输入图像中人脸的像素大小是未知的，不同输入图像中人脸的像素尺寸也可能不同，怎么办？这是就要用到图像金字塔，如下图所示，使用RCNN检测人脸，图像中的人脸有大有小，通过构建图像金字塔来检测，图片来自链接。

构建图像金字塔，是为了获得图像在不同尺寸（不同分辨率）下的表达，通过不断重复 平滑+下采样 的过程（也有通过插值Resize），获得了不同像素尺寸的人脸图像，其中只要有与网络适配的人脸就可以被检测出来。

小结一下：图像金字塔，是在保持观测窗口不变的情况下，获得输入图像在不同尺寸（分辨率）下的表达，在不同尺寸上提取到的特征在整体上做到了尺寸（分辨率）无关。实际使用中，一般采用2倍下采样，即金字塔中图像长宽逐层折半。

细心的读者可能已经发现，尺度空间和图像金字塔存在着某种关联，有种一体两面的感觉，实际上两者可以联合在一起使用，我们以后再谈。

总结

本文的重点在于讲述 几种特征不变性以及实现特征不变性的途径，对尺度空间和图像金字塔只是做了直观的介绍，后面会单独写文章详细讲解。

参考

• Feature (computer vision)
• Scale-invariant feature transform
• Pyramid (image processing)
• Scale space
• Pyramids and Scale Space
• Scale Space Theory and Applications