基于超像素分割和图像配准的深度图像修复方法

Posted 2023-04-06 cocapop

内容：提出了一种融合 超像素分割 RGB 图像和深度图像配准的深度图像修复方法
结果：该方法与双边滤波算法、联合双边滤波算法相比，能够有效地修复深度图像中的孔洞，获得较高质量的深度图像

过程：

1. 首先对 RGB 图像进行超像素分割
2. 然后将分割后的 RGB 图像与原始深度图像配准（利用分割区域内的颜色、空间特征来指导 深度图像的修复）
3. 接着将孔洞像素按照所在区域划分为超像素区域内的孔洞像素和超像素边界上的孔洞像素两大类，并对不同类型的孔洞像素采用不同的方法完成深度图像的修复

---

Kinect V2所获取的原始深度图像在目标物体被遮挡或者目标物体表面高反光区域存在深度信息丢失问题，深度信息丢失在深度图像中表现为像素值为零，即没有捕获到对应的距离值。通常称深度信息丢失区域为孔洞区域，对应的像素称为孔洞像素。

若未经处理，在后续的应用过程中，会引起严重的后果，如在机器人控制中，导致对障碍物的误判致使避障和控制失败;

针对深度图像的修复，传统的滤波算法，如高斯滤波等能够实现基本的孔洞去除，但在深度图像边缘处易发生信息丢失，存在边缘模糊问题。

---

在实际中，RGB 图像中色彩纹理相似的 区域其所对应的深度图像区域的相关性很强，且 RGB 图像纹理区域划分得越细致，其对应的深度 图像区域相关性越强，分割后的每一个子区域所对 应的深度变化幅度越小。

步骤：

1. 超像素分割 RGB 图像
2. 分割后的图像与深度图像配准（通过超像素分割后得到的分割图像，其分辨率 与原始的 RGB 图像相同，由于与深度图像分辨率不一致，且 Kinect V2 的深度相机和 RGB 相机 不在同一个位置，因此需要进行相机标定，将分割 后的 RGB 图像映射到深度图像上，建立 RGB 图像 和深度图像的对应关系。）

   

3. 深度图像孔洞修复，其中分为超像素区域内部的孔洞修复和超像素区域边界上的孔洞修复（提取配准图像中超像素区域的边界像素坐标，遍历原始深度图像中的孔洞像素，提取对应的孔洞 像素坐标。依据孔洞像素所在的位置，将孔洞像素 分为两种。）

---

数据集：自采样深度数据+对Middlebury 数据库中的图像进行深度图像修复测试，比较本文方法与双边滤波 ( BF) 算法、联合双边滤波( JBF) 算法的修复结果。

选取公开的 Middlebury 数据库中的 Wood、Plastic 的深度图像和 RGB 图像，在原始深度 图像中添加孔洞像素，分别用本文方法、BF 算法、 JBF 算法完成深度图像的修复） 

①自采样评价：计算深度图像孔洞修复率 Ratio 

②Middlebury 数据库评价：3 种方法的均方根误差( RMSE) 和峰值信 噪比( PSNR)

 

 

 

《基于深度学习的图像语义分割方法综述》阅读理解

 

近年来,深度学习技术已经广泛应用到图像语义分割领域.主要对 基于深度学习的图像语义分割的经典方法 与研究现状进行分类、梳理和总结.根据分割特点和处理粒度的不同,将基于深度学习的图像语义分割方法分 为 基于区域分类的图像语义分割方法 和 基于像素分类的图像语义分割方法 .把基于像素分类的图像语义分割方法 进一步细分为 全监督学习图像语义分割方法 和 弱监督学习图像语义分割方法 .对每类方法的代表性算法进行了分 析介绍,并详细总结了每类方法的基本思想和优缺点,系统地阐述了深度学习对图像语义分割领域的贡献.对图像语 义分割相关实验进行了分析对比,并介绍了图像语义分割实验中常用公共数据集和性能评价指标.最后,预测并分析 总结了该领域未来可能的研究方向及相应的发展趋势. 

其中，文中提出：CNN RNN GAN 三者是并列的。

ISSbRC 方法取得了一定的分割效果,但也存在图像分割精度不高和分割速度不够快等问题,因此,一些研究者提出直接在像素级别上进行图像语义分割,产生了基于像素分类的图像语义分割方法。从时间上来看bPC比bRC要晚。

 

ISSbPC 方法利用 DNN 从带有大量标注的图像数据中提取出图像特征和语义信息,再根据这些信息来学习、推理原始图像中像

素的类别,通过端到端训练的方式对每个像素进行分类,以像素分类的方式达到语义分割的目标.这是下一步研究方向。

 

 

ENet 在执行分割任务时采用分解滤波器策略,使用低阶近似(low-rank approximation) 将卷积操作分解为更简单的操作,在保证分割精度的同时,显著降低了计算量,是一种可完成像素标注、场景解 析等任务的实时分割网络.ENet 中编码部分的网络比解码部分复杂很多,是一种不对称的编码器-解码器结构。这个重点关注。

 

关注以下两个数据集：

Karlsruhe Institute of Technology and Toyota Technological Institute(KITTI)

.KITTI 是目前国际上用 于自动驾驶场景检测的最大评测数据集,主要用于评测车载环境下路面分割、目标检测、目标跟踪 等技术.KITTI 数据集包含市区、乡村和高速公路等真实场景图像,每张图像中含有不同程度的遮挡 现象. 

Cityscapes Dataset(简称 Cityscapes) Cityscapes 主要提供无人驾驶环境下的图像分割数据,用于评 估算法在城区场景语义理解方面的性能.Cityscapes 包含 50 个城市不同环境、不同背景、不同季节 的街道场景,提供 5 000 张精细标注的图片、20 000 张粗略标注的图片和 30 种标注物体.