文献阅读002精读

Posted 2021-01-11 zzzack

2002 ICIP Face photo recognition using sketch
网盘链接 密码：if7l

0. ABSTRACT
1. INTRODUCTION
2. SKETCH RECOGNITION
   2.1 Conventional eigenface method
   2.2 Eigensketch transformation
3. EXPERIMENTS
4. SUMMARY

2.1. Conventional eigenface method
Eigenface method是人脸识别的有效方法之一，它在FERET（人脸数据库） test中表现出良好。
该方法使用KLT(Karhunen-Loeve Transform)来提取人脸的代表特征，该方法也叫PCA方法。
PCA算法：

输入：样本集D={x1,x2,...,xm}, 低维维数k
过程：
1.数据中心化/归一化： xi = xi - μi
2.计算协方差矩阵： XX^T
3.对XX^T做奇异值分解
4.取前k个最大的特征值对应的特征向量w1,w2,...,wk
输出：投影矩阵W={w1,w2,...,wk}

Qi 表示一张图像的向量(column vector)，Qu 表示平均值，以下为中心化/归一化：


P 为所有样本向量归一化后合起来（训练集）的矩阵，W 为协方差矩阵(covariance matrix)：

经过奇异值分解（SVD）得到 特征向量组成的矩阵Vp, 特征值组成的对角矩阵Λp。

这里有个地方要【注意】：由于W为N阶矩阵（N为图像的像素总数，即 Pi 的长度），对其直接进行SVD的话，计算量太大。因此我们可以先对W的转置SVD，由于P为NxM的矩阵，M为向量个数（即训练及大小），M<<N，所以计算量大大降低。

两边同时左乘P：


–求PPT的标准正交化矩阵：
–我们是先用SVD求出PTP标准正交化矩阵的，即Vp，Vp-1=VpT。而我们要求的是PPT的标准正交化矩阵，如上面的等式，我们不能保证PVp是标准正交化矩阵，因此要对其标准正交化，得到如下，可以验证 EpEpT=I。

因此，对于一个新的图片Pk，经过Ep的变换后，得到特征向量 bp :

2.2. Eigensketch transformation
对于上列等式，两边同时左乘Ep，由于Ep是标准正交矩阵，有Pk=Ep*bp，但是经过Ep降维后，这里的等号实际上是有损失的，所以记Pk为Pr，即重构的photo：

将Ep代入：


–这里的 cp 和Pk有什么关系吗？
–有。cp和bp有关，而 bp=Ep^TPk。
所以我们可以由样本集原图线性组合起来近似表示新的图片的：

同理，我们把素描原始图（sketch）也按这个线性组合重构：

如图2（Figure2），我们由(a)->(b)得到线性组合 cp，再用该线性组合(d)->(c）.

3. EXPERIMENTS
用188对不同人脸的原始图和素描图(photo-sketch pairs)。
训练集：88 photo-sketch pairs
测试集：100 photo-sketch pairs
同时，还设置三组不同方法进行比较，分别为：几何法（geometry），传统法（conventional），以及本论文的方法。
试验采用 FERET test protocol（一种人脸识别算法评估方法），将测试集的photo作为gallery set，sketch作为probe set。计算相似度，如下表。

相似度计算过程：
从测试集的gallery set选取一张photo: Pk，用训练集的88张photos来重构得到Pr，求出cp，再用cp来将训练集中的sketches结合起来表示Sr’，最后与测试集的probe set中的sketches作比较，计算相似度。如下图：

FERET Sep96 protocol 相关链接：
The_FERET_Verification_Testing_Protocol_for_Face_Recognition_Algorithms