三维点云课程——点云基础介绍

Posted 2022-07-13 桦树无泪

目录

1、点云概述

1.1 点云的表达形式

1.2 点云的特点

2、主成分分析在点云中的应用

2.1 PCA主成分分析

2.2 Kernel PCA（升维）

3、点云滤波

3.1 点云去除

3.2 降采样

3.2.1 降采样流程

3.2.2 哈希函数

3.2.3 Farthest Point Sampling(FPS)

3.2.4 Normal Space Sampling(法向量降采样) 

​3.2.5 Learning to Sample

3.3 上采样

3.3.1 Bilateral Filter——Gaussian Filter

3.3.2 双边滤波

3.3.3 点云上采样

1、点云概述

1.1 点云的表达形式

1.2 ​​​​​​​点云的特点

1、密度不均匀

2、不规则

3、没有纹理信息（三人成车）

4、对深度学习的特点：

        无序性

        旋转不变性

2、主成分分析在点云中的应用

2.1 PCA主成分分析

• 主成分分析在点云中的作用

1. 降维
2. 法向量估计
3. 分类

•  矩阵的运算：

• PCA ： 

降维和升维肯定有数据损失，所以要选取重要的主向量

PCA是线性的

• PCA应用

 第一列是输入的图像，例如30*30就是900维的矩阵，把900维的矩阵在l个主向量上投影得到l组a，第二列是计算平均值所以都一样。可以看到由6个主向量来重构图片（最后一列）可以达到识别的效果。对每组a进行聚类，传入新的图片与a对比相似度来分类

2.2 Kernel PCA（升维）

• 点云中点的法向量 

点云拟合曲面的切面的法向量，只有定义邻域才有法向量，邻域大相对平滑受个别点的影响小，邻域大比较灵敏但容易受影响。法向量是最没用的向量，所有点投影到这个向量上的值加起来最小，反应最少的特征。

C是中心点

寻找法向量的步骤：

3、点云滤波

3.1 点云去除

划定邻域，少于一定的值就去掉。

3.2 降采样

3.2.1 降采样流程

 两种选点方式：1. 一个格子中计算平均点   2. 一个格子中随机选一个点

算法步骤：第6步有四个点在0格中，三个点3格中。每个格子中可以计算平均点，也可以随机选一个点

代码小坑：1、如果小格子过多，对超过int32所表示数的范围。 2. 涉及排序不能用>=    <=

3.2.2 哈希函数

如果激光雷达线束过多，这样降采样速度会很慢，为了提升速度，这里用到哈希函数。因为哈希函数不需要排序。

但这样会出现冲突点，即两点在哈希表中一样，但并不是临近点。

3.2.3 Farthest Point Sampling(FPS)

核心思想：挑一个点距离最远的点 

3.2.4 Normal Space Sampling(法向量降采样) 

核心思想：保留特征突变的点，不会漏掉特征。适用于点云对齐

3.2.5 Learning to Sample

核心思想：传统方法通过几何关系找到降采样点，S-NET是根据语义关系，即经过降采样之后的点云输入网络还是能够得到同样的标签。

 设定几何约束，来使降采样的点与原来的点云距离相似。

 可以看到通过神经网络，1024个点降到8个点还能达到83.6的准确率，传统方法只有61.6

3.3 上采样

3.3.1 Bilateral Filter——Gaussian Filter

高斯模糊：将该像素值替换成一个范围内像素的均值，参数越大范围越大，越模糊。

3.3.2 双边滤波

为了保留边缘特征，加入了一个权重，该像素与周围像素值差距越大权重越小，差距越小权重越大。这样像素差距小的范围就会被模糊，差距大的会被保留。

 

3.3.3 点云上采样

激光点云是稀疏的，在传感器融合时，会造成很多像素没有深度信息，所以要对点云进行上采样。运用双边滤波来进行上采样。