markdown 实习期间所用程序汇总
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了markdown 实习期间所用程序汇总相关的知识，希望对你有一定的参考价值。
## 人脸姿态估计（欧拉角yaw，pitch，roll）
### 1. mtcnn人脸检测 （5个关键点） + opencv solvePnP姿态估计
***代码位置：D:\Programming workspaces\LocalGithub\mtcnn-caffe-master\demo\pose_estimate.py***
[我的Github地址](https://github.com/JuneoXIE/mtcnn-opencv_face_pose_estimation)
- mtcnn网络进行人脸检测输出bbox及脸部5个关键点
- Left eye
- Right eye
- Nose tip
- Left mouth corner
- Right mouth corner
- 利用opencv solvePnP 估计脸部姿态, 得到rotation vector和 transition vector
3D标准脸部5个关键点模板：
``````
model_3d_points = np.array(([-165.0, 170.0, -115.0], # Left eye
[165.0, 170.0, -115.0], # Right eye
[0.0, 0.0, 0.0], # Nose tip
[-150.0, -150.0, -125.0], # Left Mouth corner
[150.0, -150.0, -125.0]), dtype=np.double) # Right Mouth corner)
``````
相机姿态及相关参数：
``````
focal_length = img_size[1]
center = [img_size[1]/2, img_size[0]/2]
camera_matrix = np.array(([focal_length, 0, center[0]],
[0, focal_length, center[1]],
[0, 0, 1]),dtype=np.double)
dist_coeffs = np.array([0,0,0,0], dtype=np.double)
``````
- 利用公式将rotation vector转化为欧拉角yaw， pitch 和 roll
### 2. dlib人脸关键点识别 （68中抽取14个点）+ opencv solvePnP姿态估计
***代码位置：D:\Programming workspaces\LocalGithub\mtcnn-caffe-master\demo\pose_estimate_dlib.py***
[我的Github地址](https://github.com/JuneoXIE/dlib-opencv_face_pose_estimation)
[一篇相关博客，分别用6,14以及68点人脸关键点计算头部姿态，结果由于dlib关键点不准，68个点效果也不好](https://blog.csdn.net/ChuiGeDaQiQiu/article/details/88623267)
- 利用dlib人脸检测 dlib.get_frontal_face_detector 以及`dlib.shape_predictor(r"D:\Programming workspaces\LocalGithub\mtcnn-caffe-master\demo\shape_predictor_68_face_landmarks.dat")` 获取人脸68个关键点
其中`shape_predictor_68_face_landmarks.dat`是可从网上下载的官方模型
**在cmcc的AI平台上可以直接得到dlib人脸关键点的可视化结果：[地址](http://jiutian.cmri.cn/demo/demo_face_location)**
- 从检测到的人脸中获取最大的人脸 `def _largest_face(dets)`
- 从dlib 68个关键点中抽取14个
``````
image_points = np.array([
(landmark_shape.part(17).x, landmark_shape.part(17).y), #17 left brow left corner
(landmark_shape.part(21).x, landmark_shape.part(21).y), #21 left brow right corner
(landmark_shape.part(22).x, landmark_shape.part(22).y), #22 right brow left corner
(landmark_shape.part(26).x, landmark_shape.part(26).y), #26 right brow right corner
(landmark_shape.part(36).x, landmark_shape.part(36).y), #36 left eye left corner
(landmark_shape.part(39).x, landmark_shape.part(39).y), #39 left eye right corner
(landmark_shape.part(42).x, landmark_shape.part(42).y), #42 right eye left corner
(landmark_shape.part(45).x, landmark_shape.part(45).y), #45 right eye right corner
(landmark_shape.part(31).x, landmark_shape.part(31).y), #31 nose left corner
(landmark_shape.part(35).x, landmark_shape.part(35).y), #35 nose right corner
(landmark_shape.part(48).x, landmark_shape.part(48).y), #48 mouth left corner
(landmark_shape.part(54).x, landmark_shape.part(54).y), #54 mouth right corner
(landmark_shape.part(57).x, landmark_shape.part(57).y), #57 mouth central bottom corner
(landmark_shape.part(8).x, landmark_shape.part(8).y), #8 chin corner
], dtype="double")
``````
- 利用opencv solvePnP 估计脸部姿态, 得到rotation vector和 transition vector
3D标准脸部14个关键点模板：
``````
model_points = np.array([
(6.825897, 6.760612, 4.402142), #33 left brow left corner
(1.330353, 7.122144, 6.903745), #29 left brow right corner
(-1.330353, 7.122144, 6.903745), #34 right brow left corner
(-6.825897, 6.760612, 4.402142), #38 right brow right corner
(5.311432, 5.485328, 3.987654), #13 left eye left corner
(1.789930, 5.393625, 4.413414), #17 left eye right corner
(-1.789930, 5.393625, 4.413414), #25 right eye left corner
(-5.311432, 5.485328, 3.987654), #21 right eye right corner
(2.005628, 1.409845, 6.165652), #55 nose left corner
(-2.005628, 1.409845, 6.165652), #49 nose right corner
(2.774015, -2.080775, 5.048531), #43 mouth left corner
(-2.774015, -2.080775, 5.048531), #39 mouth right corner
(0.000000, -3.116408, 6.097667), #45 mouth central bottom corner
(0.000000, -7.415691, 4.070434) #6 chin corner
])
``````
相机相关参数：
``````
focal_length = img_size[1]
center = (img_size[1]/2, img_size[0]/2)
camera_matrix = np.array(
[[focal_length, 0, center[0]],
[0, focal_length, center[1]],
[0, 0, 1]], dtype = "double"
)
dist_coeffs = np.array([7.0834633684407095e-002, 6.9140193737175351e-002, 0.0, 0.0, -1.3073460323689292e+000],dtype= "double")
``````
- 利用公式将rotation vector转化为欧拉角yaw， pitch 和 roll
### 3.Fine-Grained Head Pose Estimation Without Keypoints(deep head pose)
***代码地址：D:\Programming workspaces\LocalGithub\deep-head-pose-master\code\test_resnet50_xnw.py***
[我的Github地址](https://github.com/JuneoXIE/deep_head_pose_test)
1.引言：
本文提出了一种简洁和鲁棒的方式来确定姿态，通过训练一个multi-loss的卷积神经网络。
直接使用RGB结合分类和回归损失来预测Euler angles（yaw，pitch and roll）。
2.网络结构：
本文提出使用3个分离的losses，为每一个角度。每个loss由两部分组成：a binned pose classification and a regression component 组成。
最后为每一个欧拉角的损失为:
3.实现细节：
1） 对欧拉角（Yaw，Pitch，Roll）按角度区间进行分类，比如3度，那么Yaw：-90-+90，可以分成180/3= 60个类别，Pitch和Roll同Yaw角类似。这样就可以进行分类任务了。
2） 对分类的结果恢复成实际的角度，类别*3-90，在和实际的角度计算回归损失。
3） 最后将回归损失和分类损失进行合并来得到最后的损失，回归损失的前面增加了一个权重系数α。
### 4.Joint 3D Face Reconstruction and Dense Face Alignment from A Single Image with 2D-Assisted Self-Supervised Learning关键点检测（替代dlib）+ opencv solvePnP
**没有实现，原因是公开代码不包含训练部分，只能测试ALFW_2000 3D数据集的现成结果，处理数据过程不明，无法在自己的图片上测试**
[论文地址](https://arxiv.org/pdf/1903.09359.pdf) [论文笔记](https://mp.weixin.qq.com/s?__biz=MzIxOTczOTM4NA==&mid=2247487412&idx=1&sn=ce9b27f89c1c8efe121036b14c38b006&chksm=97d7ea23a0a06335b641cbd61136f830c7f582978634ada629c5fcf841cdc9007804e4b818d4&mpshare=1&scene=1&srcid=&pass_ticket=NOmt0vbsKLbip%2FKKhCXbec5Mvq%2F4lqu5Ydv3vFzP2%2FECdlshgLOLzDq4rlF2tS%2BW#rd)
[Github地址](https://github.com/XgTu/2DASL)
***代码位置：D:\Programming workspaces\LocalGithub\2DASL-master***
[我的Github地址](https://github.com/JuneoXIE/2DASL-opencv_face_pose_estimation)
- 2DASL获取人脸关键点（test_xnw.py）
需要预训练的model，可以从[original code](https://github.com/XgTu/2DASL)中下载[2DASL_checkpoint_epoch_allParams_stage2.pth.tar](https://github.com/XgTu/2DASL/blob/master/models/2DASL_checkpoint_epoch_allParams_stage2.pth.tar)
### 4. 人脸对齐+姿态估计 PRNet-(Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network) ECCV2018
**包含人脸对齐（landmark），姿态估计（yaw，pitch，roll），相机姿态估计，以及人脸3d模型等功能的端到端网络，测试个人图片时直接运行demo.py文件**
[论文地址](http://arxiv.org/pdf/1803.07835)
[论文笔记1](https://blog.csdn.net/u011681952/article/details/82383518) (全文翻译，包含人脸3D重建以及人脸对齐的简要综述)
[论文笔记2](https://www.jianshu.com/p/b460e99e03b0)
[Github地址](https://github.com/JuneoXIE/PRNet)
***代码位置：D:\Programming workspaces\LocalGithub\PRNet-master***
#### 1.摘要
本文提出了一种能够同时完成3D人脸重建和稠密人脸对齐的端对端的方法–位置映射回归网络（PRN）。主要思想：设计UV位置映射图，它是一种记录所有面部点云3D坐标的2D图像，在每个UV多边形中都保留了语义信息；然后设计一种加权损失训练一个简单的CNN（编码-解码）网络，从单张2D人脸图像中回到UV位置映射。
本文方案不仅不依赖任何初始人脸模型，还可根据语义信息重建整个几何人脸；整个CNN延续轻量级模式，可达到9.8ms处理单张图的速度，性能较之前方法高出许多。
贡献：
1）提出了无约束的端到端的人脸对齐和3D人脸重建框架
2）设计了新的3D人脸表示方法，即UV位置映射图，它记录人脸的3D点信息，并提供3D点与UV空间具有语义意义的点之间的稠密关系
3）为Loss Function设计了weight mask，它是为每个点提供权重，可明显提高网络性能
4）CNN采用轻量级模式，单张人脸任务可达到100FPS
5）在AFLW200-3D和Florence数据集上可达到25%的性能提升，较现有算法
#### 2.方法
该方法基本是在前人的基础上一步步改进过来的，如3DDFA,
3DMMasSTN等。总体来讲，可大致分为3个部分：3D人脸模型，3D点云的uv图表示以及网络结构设计
- 3D人脸模型
参考3DDFA，3D人脸可看做是形状和表情的和，其中3D形状模型可基于BFM模型，通过3DMM（3D Morphable Model）系数来构建，而3D表情模型可FW 模型构建。二者之和再通过Pose(姿态角，平移，尺度)参数投影到摄像机坐标系下，即得到3D点云的图像坐标。需要注意的是，BFM模型的点云数约为53490, FW表情模型的点云数约为53215，因此二者不能直接相加，需首先对BFM模型的点云进行筛选，仅从中提取53215个点（貌似是去除了嘴巴内部的点），同时修正相应的网格(triangles)，这部分工作也是3DDFA团队的贡献。
- 3D点云的UV图表示
通过BFM形状模型和表情模型，可以得到最终的3D点云的图像坐标(共53215个)，每个点有x,y,z 3个坐标，共有53215x3个值，这些点云中的68个点x,y坐标即为常用的68个人脸关键点，约40k个点的x，y坐标即为密集人脸关键点。因此，本文的目标就是从单张2D人脸RGB图像中直接预测这约53k的点的3维坐标值。一个简单且普遍的是用一个1D向量来表示，即将3D点信息用一个向量来表示，然后用网络预测；然而，这种方法丢失了空间信息。
相关研究中也有预测3DMM等模型的系数，然后同坐模型建模来得到3D点云，但这些方法太过依赖3DMM模型，并且流程复杂；最近的VRN用Volumetric来表示，成功摆脱了上述问题，但是其网络需要输出192x192x200的一个Volume，计算量相当大，重建分辨率将会受到限制。
针对这些问题，作者非常巧妙地将53215x3个值用一个3通道256x256的图像来表示，即UV position map来表示，如下图：
**左图是输入图像的3D图和3D点云ground-truth；右边第1行，分别是2D图像，UV文理映射图，相应的UV位置映射图；右边第2行，分别是UV位置映射图的x，y，z通道。实际上UV 位置图最初来源于3dmmasSTN，与3DDFA中的PNNC有类似的功能，二者详细内容及区别请参见这两篇论文介绍。**
- 网络结构设计
论文网络基于tensorflow实现，共包含一层卷积层，10层resblock残差块（encoder）和17层转置卷积(decoder)，其中中间各层卷积、转置卷积后跟着batchnorm和relu，最后一层转置卷积的激活采用Sigmoid。encoder中各层的kernel均为4， out channel从16到512，输出尺寸从256到8(每两个resblock尺寸减半)，decoder则反之，但细节与encoder仍存在些许差别，详见代码。输入和输出均为256x256 RGB图像，其中输入是人脸图像，输出是3D点云坐标（共65536个）。最后分别从中提起相应点的2d、3d坐标来进行3D重建或人脸关键点。详细结构见下图
Loss：
为了强调重点，优化性能，本文还设计了weight mask形式的Loss function：
其意义在于，不同位置或区域，计算error时权重不一样，看重或者特殊区域权重给高点，网络就会更关注这块。总共分为4中不同等级，如下图：
**4等级：特征点（68点），眼睛、鼻子、嘴巴，其他脸部，脸以外的部分；他们的权重分别比：16:4:3:0**
#### 3. 结果
测试集：AFLW2000-3D
#### 4.训练
- 数据集
在300W-LP数据集上训练，该数据集是3DDFA团队基于现有的AFW，IBUG，HEPEP，FLWP等2D人脸对齐数据集，通过3DMM拟合得到的3DMM标注，并对Pose，light，color等进行变化以及对原始图像进行flip(镜像)得到的一个大姿态3D人脸对齐数据集。
当然作者也提出，可以采用其他的数据集来训练，那样的话可能就不需要3dmm模型等相关的处理技巧，反正无论如何，流程都是：得到3D点云-> 插值形成uv位置图->训练网络这个步骤。只是得到3d点云的方式不同而已。
- 预处理
关于由3DMM系数得到3D点云的过程前文已介绍，此处需指出的是，groundtruth 点云共53215个，通过3dmmasSTN提供的插值方法，将这53k的点云通过3角插值，最终形成训练网络的label:256x256。其他细节诸如数据增广，输入输出归一化，输出z坐标大于0等的处理不再详述，论文都有介绍啦。
#### 5. 代码实现
- demo.py: 主函数
- api.py: PRNet网络框架的实现
采用的框架是tensorflow，不得不说的是，作者代码功底算是算法领域很好的水平，代码无论是网络实现，还是api接口，都非常简洁易懂，并且完全用python实现了3ddfa，3dmmasSTN中相关处理的matlab代码，大大的佩服。
#### 6. pose estimaton 流程
- 输入图片
- 图像预处理：
- 用dlib检测图像中的人脸
- 根据dlib给出的bbox对图像中的脸部进行剪裁
- 输入到PRNet处理，得到3D postion map
用PRNet对图像进行处理，最终得到与图像对应的 3D position map,大小是(256, 256, 3)
- 获得3D点云vertices，大小为(num of points, 3)，点数约40k左右
一般的图像3D点云共有53215个点，每个点有x,y,z 3个坐标，共有53215 x 3个值，这些点云中的68个点x,y坐标即为常用的68个人脸关键点，其中约40k个点的x，y坐标即为密集人脸关键点。因此，本文的目标就是从单张2D人脸RGB图像中得到这些点的3维坐标值。由于点数太多，计算量复杂，文中采取uv position map的方式来表达人脸图像，将53215x3个值用一个3通道256x256的图像来表示，就是上一步骤的输出的3D postion map。
这部分转换就是将3D position map展平，然后从中抽取40k个密集人脸关键点，就得到了3D点云vertices
- 获得纺射相机矩阵 P 大小为(3, 4)
从现有人脸模板中读取人脸标准3D点云canonical_vertices，与输入图像的3D点云vertices，进行比较得出变换信息，数学原理详见:
[FINDING OPTIMAL ROTATION AND TRANSLATION BETWEEN CORRESPONDING 3D POINTS](http://nghiaho.com/?page_id=671)
- 将相机矩阵P进行分解，得到旋转矩阵R
- 根据公式将旋转矩阵转换为yaw，pitch，roll
以上是关于markdown 实习期间所用程序汇总的主要内容，如果未能解决你的问题，请参考以下文章