文献阅读001

Posted 2021-01-11 zzzack

文献题目如下：

[1] 2002 ICIP Face photo recognition using sketch
[2] 2005 CVPR a nonlinear approach for face sketch synthesis and recognition
[3] 2017 Data-driven vs. model-driven Fast face sketch synthesis

本周刚入实验室，粗略地阅读张老师推荐的三篇论文，了解一下研究方向。

1. 大方向：人脸识别（face recognition)
2. 小方向：基于素描图像的方法（based on sketch)

背景：
以往人脸识别都是基于原始图片（based on photo）识别，但当要识别一个嫌疑犯，而又没有照片时只能用根据目击者描述画出素描画像（sketch）代替。因此需要将拍摄到的原始图片转换为素描图片，再与素描图库对比检索。

论文主要内容：

[1] 2002 ICIP Face photo recognition using sketch

1. 提取人脸特征的传统方法(Conventional eigenface method):KLT
2. 基于素描的方法(Eigensketch transformation)

[2] 2005 CVPR a nonlinear approach for face sketch synthesis and recognition

该论文分为两大工作：转换 和 识别

1. 转换：该论文是基于LLE方法，用 photo-sketch pair 训练集训练出来的模型（P) 自动生成 pseudo-sketch。
2. 识别：由于画家画的素描难免有偏差，以及pseudo-sketch会有模糊，因此用KNDA方法。

问题：LLE，linear v.s nonlinear 等知识点还未了解。

[3] 2017 Data-driven vs. model-driven Fast face sketch synthesis

Data-driven:
data-driven 是在模块水平（patch level）进行训练的，模型包括两个：Neighbor Selection Model, Neighbor Fusion Model（如下图）
作者列举了许多data-driven 的方法，说明了其劣势所在：在选择Neighbor Selection Model 时要遍历整个training photo-sketch pairs, 耗时太大。

问题：patch division是怎么完成的？——partition mask（如下图）

Model driven:
训练：将photo-sketch pairs 分成许多patches，训练出许多Mapping functions.
测试：将photo分成许多patches，用训练出的Mapping functions生成对应的sketch。

只是初步了解一下方向，具体的原理，公式，算法还没有深入了解。阅读中遇到一些不懂的知识点直接跳过，如rigid regression， LLE， KNDA等等。后面会对每一篇再做进一步的阅读和总结。