论文笔记：D-NeRF:Neural Radiance Fields for Dynamic Scenes

Posted 2023-03-01 BlueagleAI

中文标题：针对动态场景的神经辐射场

（本文只介绍与NeRF不同的知识点）
发布会议：CVPR2021

问题

• NeRF仅针对静态场景，从不同帧（视角下）重建相同的空间位置。

创新点

• 将时间作为系统的输入
• 将训练分为两个阶段：
• 阶段1：将任意时间上的场景编码到规范场景上 $（x,y,z,t）\to (\Delta x,\Delta y,\Delta z)$
• 阶段2：回归出任意时间上场景 $(x+\Delta x,y+\Delta y,z+\Delta z,\theta ,\varphi )$
• 使用$(\theta ,\varphi ,t)$来控制场景视角及时间

思路：

• 前提假设:场景中每一个点只能变换位置，不会凭空出现或消失（似乎把适用范围限制在了合成数据集上）
• 训练一个可以在任意时刻隐表示场景并合成新视角的深度学习模型。
  

解决方案：

规范网络 Canonical Network：

• ${\Psi }_x(x,d)\to (c,\sigma )$
• 也就是说场景（scene）中每一个点都有一个规范（起始）位置，这些点可以在不同时间变换位置，但绝对不会消失或凭空出现。

变形网络 Deformation Network：

• ${\Psi }_t(x,t)\to \Delta x$
• 对于时间t场景中的某一点x，求得相对于规范场景下的变形量$\Delta x$。

时间参与的渲染：

##参考文献
[1] Pumarola A, Corona E, Pons-Moll G, et al. D-nerf: Neural radiance fields for dynamic scenes[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 10318-10327.