ICCV 2021 | 表现SOTA！CurveNet：面向点云几何形状的长距离特征提取网络

Posted 2021-10-20 Amusi（CVer）

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

Walk in the Cloud: Learning Curves for Point Clouds Shape Analysis

作者单位：悉尼大学，新南威尔士大学

项目网页：https://curvenet.github.io/

代码：https://github.com/tiangexiang/CurveNet

论文：https://arxiv.org/abs/2105.01288

导读：

点云处理一直以来是计算机视觉领域中的一项具有挑战性的任务。与传统2D图像不同，点云在3D空间中稀疏的表示，使得其很难像图像那样被提取语义特征。基于此，近年来有很多工作设计了高效的点云特征提取算子，对局部和全局的模式进行响应。然而却鲜有方法专注于捕获点云物体的形状和几何特征。隐示的几何特征表达有助于完善整个点云物体的表征，使得在下游基础任务中达到更精确的效果。

本文提出了一种长距离的点云特征提取算子，通过在与点云同构图(isomorphic graph)上进行有导向的游走(guided walk)，聚集出一系列固定数量和长度的弧线(curve)，来对点云整体特征补充额外的几何信息。

方法简介：

首先作者定义出在3D点云上Curve的概念：

并随后设计出一种Curve Grouping模块，在特征空间中对输入的点云提取curves。具体而言，作者依赖于MLP来作为可学习的walk policy，在点云上临近节点间进行转移，并将整个转移轨迹收集起来作为一个curve。

然而不同于随机游走(random walk)，有导向的游走极有可能陷入各种各样的循环，使得curve携带多余的重复信息，对几何的表征能力大大降低。下图列出了四种潜在的循环，在curve grouping时应该完全避免：

基于此，作者用了一种简单的动态动量(dynamic momentum)的编码方法，使得每次节点转移时考虑到当前整体的curve进度，进而避免重复的游走规律。

除了应该完全避免的循环外，作者认为在curve grouping过程中仍然会遭遇交叉(crossover)。适量的交叉可能会携带有效的模式，因此不应该被完全避免，只需要相应的抑制。作者通过研究当前curve的前进方向(heading direction)对偏离直线前进的节点选择进行抑制，具体流程如下图：

将固定数量和长度的curve按上述方法聚集之后，作者提出一种Curve Aggregation模块，通过attention的方式，对inter-curve和intra-curve的信息进行分开建模，并最终聚合到各个点特征上。

为了验证所提出方法的有效性，作者将Curve Grouping和Curve Aggregation模块融入到一个简单的ResNet-style的网络中，命名为CurveNet，来进行基础的点云形状分析任务，具体的网络结构如下图：

实验结果：

CurveNet在三大基础的点云形状分析任务（ModelNet40分类，ShapeNet Part部分分割，ModelNet40法线预测）上均达到了SOTA效果：

作者通过额外的可视化和消融实现，对提出的curve进行了分析：

验证了本文提出方法的有效性。

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF

重磅！3D点云交流群成立

扫码添加CVer助手，可申请加入CVer-3D点云微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如3D点云+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看