3d face paper

Posted 2021-11-25 ahuzcl

FPNN: Field Probing Neural Networks for 3D Data。

宗旨：本文旨在通过cnn学习3D的形状表达，网络设计时考虑的两个因素分别是：1. 特征应该具有很好的判别性。2. 特征提取的时效性。

2D 3D图像的差别：1.3D图像随着像素分别率的提高，surface的网格占用变得越来越稀疏。见图1. 2.  随着像素分辨率的增长，局部3D模块的判别性降低。

图1.

结论：为了获得判别性的特征，应该考虑长距离的连接，长距离的连接需要大的3Dfilters, 但是这将带来很大的计算开支。 为了处理这个问题，本文将3D 数据表示成3D fileds,并且提出一种fileds probing 机制，通过probing filters对输入进行采样，probing filters 由probing points构成。probing points决定了filter的形状和位置。

Compution of filed probing scheme: 由probing filter 的数量以及每个filter有多少probing points决定,不随分辨率的改变而变化的比较快。

 

Field Probing Neural Networks

1. input3D fileds

网络的输入为输入形状的3D向量场，输出为类别标签。3D形状被表示为网格或者点云，，网络或者点云能够被转换成3D distance fileds。

输入的转换见图2.

2. Filed probing layers(由三层构成，分别是： sensor layer, dotproduct layer  and faussian layer)

 

2.1 sensor layer (在前像传播时候收集信息，在反向传播时更新probing points 的位置)

 

 

2.2 dotproduct layer (sensor layer的输出与probing filter权重的点乘)

 

2.3 gaussian layer (将distance field 转换成更加友好以及计算量小的表示)

 

2.4 architecture见图3

 

results

速度：

网络深度

与其他方法的对比