LiDAR语义分割模型的鲁棒性基准测试

Posted 2023-01-18 Being_young

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了LiDAR语义分割模型的鲁棒性基准测试相关的知识，希望对你有一定的参考价值。

点云PCL免费知识星球，点云论文速读。

文章：Benchmarking the Robustness of LiDAR Semantic Segmentation Models

作者：Xu Yan, Chaoda Zheng, Zhen Li2, Shuguang Cui，and Dengxin Dai

编辑：点云PCL

来源：arXiv 2023

欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。

公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

当将LiDAR语义分割模型用于安全应用（如自动驾驶）时，必须了解并提高其对大量LiDAR数据失效时的鲁棒性。在本文中，我们旨在全面分析LiDAR语义分割模型在各种腐蚀下的鲁棒性，为了严格评估当前方法的鲁棒性和可推广性，我们提出了一个名为SemanticKITTI-C的新基准，该基准以三组16个域外LiDAR失效为特征，即恶劣天气、测量噪声和跨设备差异。然后，我们系统地研究了11个LiDAR语义分割模型，特别是跨越不同的输入表示（例如，点云、体素、投影图像等）、网络架构和训练方案。通过这项研究，我们获得了两个见解：

我们发现输入表示方法在鲁棒性中起着至关重要的作用，具体地说，在特定的损坏下，不同的表示方法会有不同的表现。
尽管最先进的LiDAR语义分割方法在干净数据上取得了令人满意的结果，但在处理有噪声的数据时，它们的鲁棒性较差。
最后，基于上述观察，我们设计了一个鲁棒的LiDAR分割模型（RLSeg），该模型通过简单但有效的修改大大提高了鲁棒性，我们的基准测试、综合分析和观察结果有望推动安全应用的鲁棒LiDAR语义分割的未来的研究。

图1 我们提出的SemanticKITTI-C示例，使用具有16个强度级别的六种类型的破坏来破坏SemanticKITTI的干净验证数据集，以构建LiDAR语义分割的全面鲁棒性基准，列举的例子是16线激光雷达传感器上的点云，在降雪和雾中模拟具有全局和局部失真的情况

介绍

LiDAR语义分割分类

由于LiDAR收集的数据表示为点云，因此有几种主流方法来处理具有不同表示方法的输入点云。

1）基于点的方法。这些方法直接学习原始点云的几何细节，通常，它们遵循作为2D视觉的分层架构，并首先在每个层中执行采样策略，之后，他们从每个采样点搜索相邻点，并在每个局部组中应用特征聚合。局部聚集函数对于基于点的方法至关重要，因此许多研究设计了不同的算子来捕捉局部几何特征。然而，基于点的方法在LiDAR场景中并不有效，因为它们的采样和分组算法通常耗时。

2）基于投影的方法。这些方法在LiDAR处理上非常有效，因为它们将原始点云投影到2D图像平面上。由于投影过程不可避免地导致信息丢失，最近的研究采用基于点的分支来获得细粒度特征或细化分割结果。

3）基于体素的方法。这些方法被广泛采用，因为它们可以在保持效率的同时实现良好的性能，通常，它们首先进行体素化，并将原始点划分为不同的体素网格。之后，他们在输入体积中进行3D卷积。稀疏卷积是基于体素的方法的核心技术，由于在体素化过程中有很大比例的体素是空的，这会带来巨大的计算负担。

4）混合表示方法。尽管基于体素的方法实现了优异的性能，但在体素化过程中仍然缺少几何体，因此，有一种利用多种表示方法融合的趋势，这些方法组合多个表示输入（即，点、投影图像和体素），并在不同表示之间应用特征融合。具体而言，Tang等人设计了点体素CNN算子，该算子在每个稀疏卷积块中组合逐点MLP，并采用神经架构搜索（NAS）来搜索更强大的架构。Xu等人利用上述三种表示法，提出了一种距离-点-盒融合网络，最近，Yan等人应用了跨模态知识蒸馏，在训练阶段引入了来自纹理和颜色图像的先验信息，然而，混合表示体系结构使它们在域外破坏中的鲁棒性降低。

激光雷达失效分类

现实世界中的激光雷达扫描可能会受到各种各样的破坏，基于这些破坏，我们提供了一个破坏的分类。在本文中，我们将常见的LiDAR腐蚀分为三个领域，即恶劣天气条件、测量噪声和跨设备差异，其中我们总共产生了六种腐蚀，具有16个严重级别。通过将这六种类型的损坏应用于SemanticKITTI-Behley等人，我们生成了一个损坏的数据集，即SemanticKITTI-C，总结在表1中。

恶劣天气：我们分析了两种常见的天气条件，即雾和降雪，对于雾天气，我们遵循Hahner等人的方法，通过干扰点的位置和强度，根据物理有效的规则，将雾添加到干净的天气点云中。上述两种天气具有不同的特点，例如，在大雾天气中，传感器周围分布着大面积的噪声点，并且由于遮挡，使得物体更加稀疏，尤其是对于远程物体。如图2所示，这些噪声点的数量随着雾强度的增加而增加。此外，由雾引入的噪声不均匀地分布在传感器周围，噪声的存在取决于在距离传感器一定距离以下的视线中是否有任何物体，通常，如果在中等范围内存在固体物体，则各个脉冲的杂散返回将很少，相反，如果在某个范围内没有对象，则会有很多由雾引起的虚假返回。至于降雪，有两个明显的特征，一方面，雪粒子被明确地建模为不透明的球体，其大小由降雪率控制，如图3所示，与雾状激光雷达相比，噪声点几乎在传感器周围，降雪条件下的噪声点分布更均匀，此外，降雪率不会对噪声点的数量产生很大影响，但会影响雪颗粒的大小，另一方面，降雪时地面会潮湿，出现的薄层会增加地表反射的镜面分量，总之，这两种破坏通过全局噪声点影响模型，使得远程点更稀疏，然而，它们通常有不同的模式。

测量噪声 ：除恶劣天气外，当数据传输过程中发生损坏或传感器无法正确捕获信息（例如过热）时，也可能出现噪声，我们使用两种类型的随机噪声对这种数据干扰进行建模，如图4所示。请注意，我们仅在此类损坏操作期间考虑点坐标。

跨设备差异 ：理想的分割算法应该在不同规格的不同设备上具有鲁棒性。虽然多个因素（例如，激光雷达传感器的光束数和扫描速度）会导致跨器件域偏移，但本文中我们关注的是光束数。理想的分割模型应该能够对不同传感器生成的不同数据分布具有鲁棒性，与前面介绍的其他因素不同，因为激光雷达线束器件差异而不是收集环境直接导致的，这使得它在我们的鲁棒性分析中也非常重要。

主要内容

我们对LiDAR语义分割的11种现有方法进行了基准测试，如表2所示，尽管我们将混合表示方法视为独立的主流，但当前基于体素和基于投影的方法广泛地结合了辅助学习的附加表示。

图6展示通过球面投影的基于投影的方法，这种方法首先将每个点进行球面投影映射到图像坐标，然后采用2D卷积来构建U-Net-like架构，最后，他们将图像平面上的预测重新投影到原始点云上。

图7 展示了基于点的方法。（a）基于点的方法对原始点云中的目标点（红色）进行采样，并通过局部聚集来聚集局部特征。（b）通过分层结构，基于点的方法的接受域显著增加。

雾雪天气中模拟的详细结果

不同噪声腐蚀的结果如表4所示

跨设备差异在表5中展示了不同LiDAR类型的具体结果

模型设计与鲁棒性，这里全面分析了不同模型设计与鲁棒性之间的关系，结果如表6所示。

下图是混合表示体系结构示意图，PointHead和PointBranch的架构如（a）和（b）所示。

我们在图13中提供了RLSeg和MinkowskiNet的可视化结果，其中我们提出的模型表现更好，具体来说，MinkowskiNet无法在雾模拟和局部失真中正常工作，并且LiDAR场景中存在大面积的错误，相反，我们的RLSeg即使对于小对象（如红色圆圈所示）也提供了稳健的预测，这些表明了我们模型的鲁棒性，以及鲁棒LIDAR语义分割的前景

图13可视化，我们展示了最强大的现有方法（MinkowskiNet）和我们的RLSeg在四种情况下的可视化结果，包括干净的数据和三种LiDAR失效场景，噪声点标记为黑色，在评估中不考虑。

总结

在本文中，我们提出了一个新的基准，称为SemanticKITTI-C，针对真实世界和域外的LiDAR失效时系统地研究了广泛的LiDAR语义分割模型，涵盖了不同的输入表示和网络架构，在分析了先前方法的结果之后，我们总结了12个观察结果，以供未来研究使用，最后，我们基于上述观察提出了RLSeg，这有效地提高了LiDAR语义分割的鲁棒性，希望我们的基准测试、综合分析和观察能够促进未来在安全关键应用中对稳健LiDAR语义分割的研究。

本文提及的开源点云语义分割的开源代码有

1 https://github.com/TiagoCortinhal/SalsaNext

2 https://github.com/huixiancheng/CENet

3 https://github.com/edwardzhou130/PolarSeg

4 https://github.com/haibo-qiu/GFNet

5 https://github.com/HuguesTHOMAS/KPConv-PyTorch

6 https://github.com/QingyongHu/RandLA-Net

7 https://github.com/POSTECH-CVLab/point-transformer

8 https://github.com/mit-han-lab/spvnas

9 https://github.com/xinge008/Cylinder3D

10 https://github.com/yanx27/2DPASS

更多详细内容请加入知识星球查看原文。