国科大人工智能学院《计算机视觉》课 —底层视觉—特征点提取描述与匹配

Posted 2021-08-29 鱼米粒

一、二维图像变换

图像变换：值域（亮度、对比度）、自变量域（几何：缩放、平移、旋转）

什么类型的变换能表示为2×2矩阵（线性变换）？

• 尺度缩放、旋转 可以。
• 平移不能写成2×2矩阵。为了能写，引入了齐次坐标系。
  
  

仿射变换 = 线性变化 + 平移：

单应变换/射影变换（Projective Transformations） = 仿射变换 + Projective warps 射影空间扭曲：

二维变换的总结：欧式变换、相似变换、仿射变换、单应变换

二、SIFT特征点检测

1. SIFT的介绍

• SIFT：Scale Invariant Feature Transform
• 是一种特征提取算法
• DoG特征检测 + SIFT描述子
• SIFT特征的性质：对旋转和尺度都具有不变性
  

2. SIFT特征提取算法流程：特征点提取、特征点描述

尺度空间：检测在尺度变化时仍然稳定的特征

高斯差分尺度空间DoG（Difference of Gaussian）：为了在尺度空间中检测稳定的关键点，所以构造高斯差分尺度空间。

• 将两个尺度空间相减
  

但其实 尺度归一化的LoG空间 才具有真正的尺度不变性。而高斯差分DoG只是LoG的一个很好的近似。

高斯金字塔：保证尺度不变性

• 高斯金字塔并不是一个金字塔，而是有很多组（Octave）金字塔构成，并且每组金字塔都包含若干层（Interval）。
  
  

DoG金字塔：

• 差分金字塔，DOG（Difference of Gaussian）金字塔是在高斯金字塔的基础上构建起来的，其实生成高斯金字塔的目的就是为了构建DOG金字塔。
• DOG金字塔的第1组第1层是由高斯金字塔的第1组第2层减第1组第1层得到的。以此类推，逐组逐层生成每一个差分图像，所有差分图像构成差分金字塔。概括为DOG金字塔的第o组第l层图像是有高斯金字塔的第o组第l+1层减第o组第l层得到的。
  

Step1：DoG尺度空间极值点检测

Step2：关键点的精确定位（对尺度空间DoG函数进行曲线拟合，计算其极值点；再去除不稳定的关键点）

为啥要有这步？因为在离散采样中搜索到的极值点不一定是真实空间的极值点。

基本原理：对尺度空间DoG函数进行曲线拟合，计算其极值点，从而实现关键点的精确定位。

去除不稳定的关键点：

• 去除 对比度低的点
• 去除 边缘上的点

三、特征点描述与匹配

• 匹配：确定不同图像中对应空间同一物体的投影的过程
• 特征匹配：点匹配、直线匹配、曲线匹配、区域匹配
• 点匹配的基本原则：利用图像点周围的信息来描述点，如灰度信息、颜色信息、梯度信息等，然后进行相似性度量。

1. Cross-correlation基本原理：利用相关函数，评价两幅图像特征点 邻域的灰度相似性 以确定对应点。

2. SIFT特征匹配算法

• SIFT特征的提取：DoG特征检测算子
• SIFT描述子的构造
• 匹配方法

直方图Histogram：

• 直方图表示的是图像中灰度之间的统计关系。用横坐标表示灰度级，纵坐标表示频数。
• 直方图 可以克服形变，但不具有图像旋转不变性。

Step3：关键点主方向的计算

Step4：特征描述

SIFT特征匹配：

四、ORB描述子

• ORB（Oriented FAST and Rotated BRIFF）
• ORB = oFAST + rBRIFF
• BRIFF（Binary Robust Independent Elementary Features）：二进制描述子；高速、低存储

oFAST：

rBRIFF：

五、基于DNN的特征描述子的学习

六、空间点匹配：ICP（Iterative迭代 Closest Point）

• 两组不知其对应关系的点集之间的匹配

七、鲁棒匹配的RANSAC框架

---

考过的题目：

1. 分别详述 SIFT 特征的提取、描述子构造、以及匹配过程。