论文阅读《Point NeRF:Point-based Neural Radiance Fileds》

Posted 2023-03-10 CV科研随想录

论文地址：https://arxiv.org/abs/2201.08845
源码地址：https://xharlie.github.io/projects/project_sites/pointnerf

---

概述

  体素神经渲染的方法生成高质量的结果非常耗时，且对不同场景需要重新训练（模型不具备泛化能力），而基于MVS的方法可以快速重建场景。Point NeRF结合了两种方法的优点，通过在基于光线进行的渲染管道中聚合场景表面附近的神经点特征来有效渲染。Point NeRF与可以与其他 3D 重建方法结合，并使用一种新的剪枝与生长机制来处理此类方法中的错误与异常值，其重建方法比NeRF提升了30倍。

---

Point-NeRF 场景表示

体渲染与辐射场

  经典的体渲染模型可以通过沿着可微的光线来计算预测的结果，如式1所示:
$$\begin{array}{rl}c& =\sum _M{\tau }_j\left(1-\exp \left(-{\sigma }_j{\Delta }_j\right)\right)r_j,\\ {\tau }_j& =\exp \left(-\sum _{t=1}^{j-1}{\sigma }_t{\Delta }_t\right).\end{array}\text{\hspace{1em}(1)}$$
其中 $\tau$ 表示透过率，${\sigma }_j$ 表示每个点的体密度，$r_j$ 表示点的颜色 ,$\Delta$ 表示相邻采样点之间的距离。
辐射场是使用每个点的3D坐标与方向信息来表示空间中点的颜色与不透明度的一种方式。NeRF使用空间点的坐标与方向信息来回归辐射场。

基于点云的辐射场

  神经点云表示为 $P=(p_i,f_i,{\gamma }_i)|i=1,...,N$ ，其中 $p_i$ 表示空间点的位置，$f_i$ 表示的局部场景信息的特征向量，${\gamma }_i\in [0,1]$ 表示点的置信度（点在物体表明的概率）,Point NeRF使用神经点云来回归辐射场。

  给定任意 3D 点的位置 $x$ ，得到半径为 $R$ 的范围内的 $K$ 个邻域神经点。Point-NeRF可以被抽象为一个神经模块——任意点沿着任意方向从邻域点K回归出对应的 $\sigma$ （不透明度）与 $r$ （RGB值）:
$$(\sigma ,r)=\text{ Point -}\mathrm{NeRF}\left(x,d,p_1,f_1,{\gamma }_1,\dots ,p_K,f_K,{\gamma }_K\right)\text{\hspace{1em}(2)}$$
PointNeRF使用类似PointNet的多层MLP结构来回归辐射场。

Per-Point processing：使用基于MLP的F来对 $x$ 的邻域神经点处理，得到表示 $x$ 位置的特征向量：
$$f_{i,x}=F(f_i,x-p_i)\text{\hspace{1em}(3)}$$
使用了相对位置信息 $x-p_i$ 有利于提高模型的泛化能力。
View-dependent radiance regression: 对邻域内神经点的特征向量进行加权得到表示位置 $x$ 的特征向量：
$$f_x=\sum _i{\gamma }_i\frac{w_i}{\sum w_i}{f}_{i,x}\text{, where }{w}_i=\frac{1}{\Vert p_i-x\Vert }\text{. }\text{\hspace{1em}(4)}$$
其中 ${\gamma }_i$ 为 $i$ 点的置信度。
  使用基于MLP的 $R$ 来回归得到 $x$ 位置关于 $d$ 方向的RGB值：
$$r=R(f_x,d)\text{\hspace{1em}(5)}$$
Density regression：使用基于MLP的 $T$ 来回归不透明度，并使用邻域点的不透明度进行加权，如式6所示：
$$\begin{array}{rl}{\sigma }_i& =T\left(f_{i,x}\right)\\ \sigma & =\sum _i\end{array}$$

CSP：Object as Point同会议论文，相似思想用于人脸和行人检测 | CVPR 2019

AirVO: An Illumination-Robust Point-Line Visual Odometry 论文笔记

论文解读：SuperPoint: Self-Supervised Interest Point Detection and Description

论文笔记Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching

论文笔记Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching