基于图像质量失真特征分析的人脸活体检测-02

Posted 2021-03-09 zhaopengpeng

1. 基于图像质量特征分析的大致流程如下，主要围绕：镜面反射特征（Specular reflection feature）/模糊特征（Blurriness feature）/ 色矩特征（Chromatic moment feature）/ 颜色多样性特征（Color diversity feature）等四方面展开。

参考：论文：Face Spoof Detection with Image Distortion Analysis. 2015.

2. Specular reflection feature

       在同一成像环境中将真实的面部或欺骗性面部（例如打印的照片或屏幕上的回放视频）呈现给相机，真实的面部和欺骗性面部图像之间的主要区别：在于“形状 ”和摄像头前面的脸部特征。根据镜面反射模型，可以将图像分为镜面反射图像和漫反射图像两部分。

1)  镜面反射特征的提取方式

参考：论文：Real-time specular highlight removal using bilateral filtering, ECCV, 2010.
                     Separating reflection components of textured surfaces using a single image, IEEE Trans. Feb. 2005.

2). 利用NUAA数据集中的活体与非活体图像，对提取的镜面反射特征进行量化分析；

量化分析过程参考：论文：Face Spoof Detection with Image Distortion Analysis. 2015.

 

 

 

 

01_1等代表图像的名字（依次从左到右，从上到下）；

B_m/G_m/R_m分别代表镜面反射图的B/G/R各个通道的均值；

B_per/G_per/R_er分别代表各通道镜面反射图的像素部分占整幅图像的的比例；

B_var/G_var/R_var代表镜面反射图的B/G/R通道的方差；

3. Blurriness Features

       对于短距离欺骗攻击，欺骗面孔通常会在手机相机中散焦。 原因是欺骗介质（打印纸，平板电脑屏幕和手机屏幕）通常尺寸有限，攻击者必须将其放置在靠近相机的位置，以掩盖攻击介质的边界。 结果，欺骗的面孔容易散焦，并且由于散焦而导致的图像模糊可以用作反欺骗的另一线索。

1） 图像的模糊度度量方式

 

 

 参考：论文： The blur effect: perception and estimation with a new no-reference perceptual blur metric, 2007.

2)  利用NUAA数据集中的活体与非活体图像，进行图像模糊度度量；

 

Vec_ratio:是图像垂直方向的模糊度； Hor_ratio:是图像水平方向的模糊度；数值越大，代表图像在那个方向越模糊；

4. Chromatic Moment Feature

1) .色矩特征的提取及量化结果分析

 

 

 

 参考：HSV空间各通道分离实验及各值意义：https://blog.csdn.net/bamboocan/article/details/70627137

            偏度(skewness)和峰度(kurtosis）：https://blog.csdn.net/xbmatrix/article/details/69360167

5. Color Diversity Features

1) 图像的颜色多样性特征量化

  输入图像 -> 分离各个通道（R/G/B）-> 将各通道的像素值（0-255）进行等间隔量化（如255/35=7，像素0-6，标记为0；像素7-13，标记为1；......像素值为218-225，标记为：34）->统计各个区间的出现的频率个数，并排序->只取频率出现最大的前5个区间的标志作为特征输出；

2）针对NUAA数据集中的图片进行量化的结果

 

 

注: 数值越大，代表像素主要集中在较大值范围内出现的频率越多，即图像越亮；反之，则图像越暗；

6. 实验结果分析

1） 关于人脸欺骗数据集简介

 

 

 　 NUAA Photograph Imposter数据库[8]于2010年发布，是最早的公共领域欺骗数据库之一。它由12,614张图像（从143个视频中提取）组成，仅包含15个对象的真实和攻击尝试。此外，NUAA数据库中仅包含手持式打印照片攻击。
      Idiap REPLAY-ATTACK数据库[4]于2012年发布，包含1300个视频记录，分别记录了50个不同主题8的实时访问和攻击尝试。在相同的采集条件（受控和不利的照明）下，通过打印照片，在手机屏幕上显示的照片/视频以及在HD屏幕上显示的照片/视频伪造同一对象的实时验证尝试，从而产生了面部欺骗攻击。

      2012年发布的CASIA面部反欺骗数据库（FASD）包含600个真实的视频录像和50种不同身份的攻击尝试。尽管CASIA数据库的大小比Idiap数据库小，但在采集设备（高分辨率Sony NEX-5相机和低质量USB相机），面部变化（姿势和表情变化）方面，它包含更多样例，以及攻击尝试（扭曲照片，剪切照片和高清显示的视频）。

注：针对以上数据集，并没有开源，想要下载需要填写相关使用申请说明等诸多限制，可下载访问的数据集目前只有NUAA。

2）利用图像质量失真特征，针对NUAA数据集进行训练与测试

 

 

 实验结果分析：上述图像失真特征分析的方法，主要是针对手机屏幕显示照片、视频回放等数据集进行训练测试的，可能本人利用NUAA数据集（主要是图像照片攻击）来进行训练、测试效果才使得结果不那么理想。