OpenCVSharp4 识别物体系列之预处理

Posted 2023-04-13

参考技术A 之前几篇是OpenCV操作图片，这不是OpenCV的卖点，卖点是计算机视觉，所谓视觉，即识别。问题场景简单描述为
输入：图片
输出：对应的物体的位置，数量等信息

计算机识别的整体步骤大概为：
预处理
分割
特征提取
机器学习分类
后期处理

此处采用的YCrCb格式，然后噪点叠加在Y通道。具体机制，百度YCrCb的介绍即可。

对于不同的噪点，需要调整对应的去噪方式。

采用算法去除背景，只留下关注的信息。一张背景图，一张当前图，两张图采用减法或者除法可以去掉背景信息。

二值图像：只有两种颜色，黑和白，1白色，0黑色

参照： https://blog.csdn.net/qq_29462849/article/details/81022607

参照 https://blog.csdn.net/qq_41498261/article/details/102770535

物体的三维识别与6D位姿估计：PPF系列论文介绍

作者：袁野

Date：2020-03-27

来源：物体的三维识别与6D位姿估计：PPF系列论文介绍（一）

一、前言

近年来随着消费级深度设备的普及，深度相机引导机械臂完成抓取成为热点话题。其中，物体识别与位姿估计是械臂完成抓取的关键。关于物体识别与位姿估计可以分为传统手工提取特征方法和基于深度学习的方法。下面主要介绍传统经典方法——基于点对特征的（PPF）系列方法。

2019年ICCV在韩国举行的"6D Object Pose Estimation Challenge" 中，基于PPF的方法丝毫不输当今火热的深度学习类方法。下图是Leaderboard，其中Drost和Vidal的方法都是基于PPF。

二、PPF系列论文介绍

1. “Model globally, match locally: Efficient and robust 3D object recognition”

这篇文章是PPF的鼻祖，发表在2010年CVPR。其构建两点及其法向量之间的几何关系形成的四维特征作为点对特征（Point Pair Features）。线下建立哈希表存储模型的所有四维特征作为模型的整体描述。线上匹配阶段，借用全局坐标系简化刚体变换自由度，使得位姿计算变得简单。同时借助广义霍夫变换的投票思想，对参数空间投票，获得可靠位姿。

DOI：10.1109/CVPR.2010.5540108

2. “3D pose estimation of daily objects using an RGB-D camera”

Drost的方法很快得到了广泛的关注，Choi等人在2012年对PPF进行了改进，将传统的四维几何点对特征扩充了颜色信息，得到CPPF这么一个十维特征描述子（两点各增加了RGB信息）。在彩色数据集上获得了比原始PPF更好的效果。

DOI：10.1109/IROS.2012.6386067

3.“RGB-D edge detection and edge-based registration”

2013年，Choi等人继续对PPF做出改进，提出用不同种类的点对几何关系，如利用“boundary-to- boundary”的边缘点点对构建特征。这无疑大大减少了点的数量，不论是在训练阶段还是匹配阶段都极大提高了速度。并且该改进在包含大量平面的物体上表现出了极好的效果。

DOI：10.1109/IROS.2013.6696558

4.“Learning to Rank 3D Features”

2014年，Tuzel等人发现，当对象自身有很多重复特征或表现出简并性时（如大平面）传统PPF方法的性能下降，同时这种情形又是非常常见的。由此提出了一个最大边缘学习框架来识别三维物体表面的识别特征。具体来说，学习到的是哈希表bin的权重值，以及模型点的权重值。算法根据特征在特定任务中的重要性对特征进行选择和排序，从而提高准确性，降低计算成本。

DOI：10.1007/978-3-319-10590-1_345. “Point Pair Features Based Object Detection and Pose Estimation Revisited“

之前的PPF系列方法虽然是有所改进，但是总体的pipeline几乎是一致的。而Birdal等人在2015年从pipeline上改进了PPF。文章将目标检测与一个由粗到精的分割结合起来，其中每个分割都需要进行独立的位姿估计。在匹配过程中，使用了一个加权的霍夫投票和一个插值恢复的位姿参数。最后，所有生成的假设通过一个遮挡感知排序进行检验和排序。特别的是，由于这种增强的位姿检索，新的pipeline不需要ICP优化，从而在速度和精度之间取得更好的折衷。

DOI：10.1109/3DV.2015.65