论文解读Generative PointNet: Deep Energy-Based Learning on Unordered Point Sets for 3D Generation

Posted 2021-12-07 猫姑娘lea

       生成性点网  --基于能量的无序点集的深度学习的三维生成、重建和分类

关于点云的生成模型，本论文使用VAEs和使用具有启发式损失的对抗性自动编码器
准备工作：
生成建模最常用的两种方法是生成对抗性网络（GAN）和可变自编码器（VAE）
1.解释自编码器（AE）：Auto Encoder是一种自监督的神经网络，学习如何将输入的图像或者编码为较低的维数，然后再次解码和重构接近输入。
AE包含三个部分：
编码器（就是将输入的图像转化成i较低的维数）
压缩层（进一步表示为更低的维数）
译码器（进行解码和重构从而接近输入）
2.解释生成对抗性网络（GAN）：GAN属于非监督机器学习下的生成算法。主要是由一个生成的神经网络和一个识别神经网络组成；其中生成神经网络的作用是通过接受噪音作为输入并生成样本，识别神经网络则评估和鉴别生成样本。
3.系统发生树：用客观标准计算每个位点的概率，计算表示序列关系的每棵可能的树的概率，根据定义，概率总和最大的那棵树最有可能反映真实情况
4.Grenander 模式理论：提出通过合成来分析自然场景中的视觉问题。模式理论的终极理念—只有通过计算机首先合成我们的视觉所看见的自然场景，我们才能真正理解视觉问题

摘要：首先提出一个无序点集的生成模型，类似于点云。但是该模型是基于能量的模型，其中能量函数是一个输入变异不变的自下向上的神经网络设定。（理解：能量函数从热学中提出，用于描述系统的能量值，当能量值达到最小时系统达到稳定状态；即可运用于神经网络中能量函数值越小，系统越趋于稳定 自下向上：底层发出的声音由高层运作，完成最后任务）
能量函数学习每个点的坐标编码然后将所有单独的点特征汇总成一个整个点云的能量，称为生成性点网，因为它可以从鉴别性点网中导出。（鉴别性点网？？？）该模型可以通过基于MCMC的最大似然学习（以及它的变体）来训练（MCMC最大似然估计：从任意分布无论有没有解析式抽取一批数据，然后用这堆抽样数据的均值作为分布期望的估计？数学问题），不需要任何辅助网络的帮助如GANs和VAEs。也不需要任何手工制作的距离度量来生成点云，因为通过匹配观察到的例子的统计属性来合成点云。还可以基于能量的模型学习一个短程的MCMC，作为一个类似流量的生成器，用于点云重建和插值，学习到的点云特征可以用于点云分类。

介绍：本文提出一个原则性的生成模型，用于三维点云的概率性建模，即该模型是一个概率密度函数直接定义在无序的点集上，形式是基于能量的深层模型。这样的模型可以从判别性点网中得到，我们的模型的最大似然估计（MLE）遵循模式理论中的“综合分析”。在每次学习迭代中，由Langevin动力学采样产生的，这是一种基于梯度的马尔科夫链蒙特卡洛（MCMC）方法生成”假的“三维点云例子，然后根据”假“例子和”真“观察到的例子之间的差异更新模型参数。