国科大人工智能学院《计算机视觉》课 —三维视觉—立体视觉与三维建模

Posted 2022-12-07 肉丸不肉

稠密点云 重建

---

一、先验知识

1. 图像的获取方式：室内环境、室外环境、网络图片

室外环境：

• 要求：光线均匀（防止过爆、失爆）
• 阴天多云是最好的。

2. 相机位姿的获取方式

二、三维建模

1. 三维建模的基本流程

2. 立体视觉：两视图三维建模

人判断远近：物体在水平方向的位移。位移大，离得近。

极几何：两视图的极几何约束

极线矫正：

单应变换的几种形式（很重要）：空间平面投影单应、通过空间平面诱导的单应、相机纯旋转单应

视差：

• 极线矫正后，左右图像的一对匹配点在x轴上坐标的差异 称为 视差（Disparity）
• 视差的大小与点距离相机距离的远近成反比

视差图：

• 立体视觉的目的就是通过左右图像计算（稠密）视差图
• 视差图是一幅灰度图像，像素点的值表示这一点的视差大小，灰度值越高表示视差越大（距离越近）
• 通过视差图可以得到单视点下的三维模型（稠密点云）
  

视差与深度：





深度Z = (B * f) / (xl - xr) = (基线 * 焦距) / 视差

3. 三维建模的基本流程（续）

4. 立体匹配：单点匹配法、窗口匹配法、自适应窗口匹配法、自适应权值窗口匹配法

但对于左图像上点p，右图极线上有很多颜色类似的点。仅靠单点颜色比较容易出现错误（噪声太多）
所以考虑 平滑性约束

所以形成了 窗口匹配法。

影响窗口匹配结果的因素：

• 弱纹理：弱纹理区域窗口内像素值类似，相邻区域的相似度函数值差异不显著
• 孔径问题：窗口包含的纹理区域太小，区分度不足
• 重复纹理：重复纹理区域窗口内像素值类似，容易产生匹配误差
• 前景放大：由于立体匹配中容易存在遮挡问题，所以在边缘（有视差跳变，同时有前景和背景）处背景容易被错分为前景，造成前景放大。前景放大效应造成视差图中前景物体比实际大。

自适应窗口匹配法：融合大窗口和小窗口的各自优势，可有效改进边缘区域的视差

自适应权值窗口匹配法：

三、立体匹配 — PatchMatch Stereo

四、MVS（Multiple View Stereo）多视图立体视觉

1. MVS基本思路：寻找空间中具有图像一致性的点

2. MVS算法的分类：深度图融合、体素、点云扩散、CNN

深度图融合：

基于体素的MVS：

基于特征点扩散的MVS：

基于CNN端到端的MVS：