deep learning-based classification of illumination maps for exposing face splicing forgeries in ima

Posted 2021-02-21 qina

出处 ：2019ICIP

作者：

摘要 ： 提出一个检测人脸图像拼接的深度网络。把输入图像转换为illumination map (IM)，然后比较面部区域的 pairs 来检测拼接篡改。先在外部的训练集上训练孪生网络来区分来自相似或不同光照环境illumination environments (IEs)的pairs。训练好后，一支网络用来提取测试图像的特征。拼接一对特征，SVM进行分类。本文方法的优点是能够学习不同IE下有区分力的特征

无

数据集 DSO-1 [6]：包含100个真实的和100个拼接的高分辨率图像，其中包含人类群体肖像

DSI-1 [6]：DSI-1数据集包含25张来自互联网的真实图像和25张拼接图像

实验环境 Python 3.6,Keras 2.2.4 [16], Matlab 2017b on a Tesla K20c GPU with 5 GB RAM.

metrics detection accuracies

2 method

2.1 Image Representation and Face Extraction

输入图像分割成相似的区域（superpixels）,从每个超像素估计光照颜色，然后recolor 超像素，创建IM。（IM是中间表示，压缩表层信息，增强光照颜色信息）IM 中的拼接部分更加明显，手工提取IM里的面部部分

有两种光照评估方法

1. 基于统计的方法[10] [11]，在假设图像像素分布的前提下，从图像中估计光源的颜色。

2. 基于物理的方法[12] [13] [14]

3. 本文使用 generalized gray edge (GGE) method [10]，这是基于这样一种假设，即在白色光源的照射下，场景中的平均反射率差是achromatic(消色差的)，光照颜色e计算如下

(f^sigma) 是图像X位置使用(标准差(sigma))高斯平滑后的像素密度，(frac{partial}{partial_x}) 是偏导数，|·|是范数，n 是阶数，k 是常数项，p 是Minkowskin norm P范数

2. 本文使用 the modified inverse-intensity chromaticity (IIC) [5]，该方法基于Tan等人提出的原始IIC方法[14]，其中对光源的估计如下:

   

   (f_c(x)) 是每个滤色器(cin{R,G,B})在x像素位置的传感器响应,(chi_c(x)) 是图像的色度，(Gamma_c(x)) 是镜面或光源的色度，(p_c(x)) 是依赖于曲面几何的参数，扩散色度和高光色度

2.2 Face-IM Pair Classification for Splicing Detection

把 pairs of face-IMs 输入 siamese network（参数共享），预测 the class-label of the pairs。 使用 SVM 进行分类。authentic pair 是来自同一 IE 的 face-IMs pair（有相同的特征），spliced pair 指来自不同 IE 的 pair。

如果一副图像有N个face，那么有N(N-1)个 face pairs，如果至少有一个脸对是拼接的吗，那这副图像是拼接的。

2.2.1 Siamese Network for Learning Features

使用[9]的孪生网络，共享权重保证从两个输入中获得相同的特征集。

CNN 计算出输入对的特征 (f_1)(f_2)，distance layer 计算 (f_1)、(f_2)的 L1 距离，然后全连接 sigmoid neuron layer 预测输入对的类别，预测p计算如下 ，(alpha_j)是全连接层的可调参数，表示距离的每个分量的重要性。使用 the cross-entropy loss。

图2是CNN的结构，

由于没有现成的人脸拼接数据集，我们在真实图像上人工生成一些拼接对。然后创建IMs，使用真实对和拼接对训练。经过训练，其中一个孪生CNNs被用来从真实拼接图像中出现的面部IMs中提取特征。我们没有利用整个孪生网络来对真正的拼接脸进行分类。

2.2.2 Splicing Detection

从图像中提取特征向量后，对其进行两两分类，以检测拼接的真伪。
如果在一个输入图像中有N个face，我们通过连接pair的每个face的特征来创建N(N 1)/2个联合特征。使用这些联合特征训练SVM，然后对测试图像中的face-IMs pairs 进行分类。

3. experiments

3.1 Training the siamese network

收集了6660个图像，每幅图像里有2-10个人，提取面部部分。真实pais是从同一个图像创建的脸对，拼接pair是从不同的图像随机选择的面部对。创建了57024个真实对，1103160个拼接对

使用了三种表达来训练网络 GGE method、IIC method、原始图像。

3.2 Splicing Detection

1.使用GGE-IMs方法训练的CNN，从 GGE method、IIC method、原始face提取特征

2.使用IIC-IMs方法训练的CNN，从 GGE method、IIC method、原始face提取特征

对比方法

Carvalho et al.[6], [7] and Pomari et al. [8]

如表2

结论

本文提出了一种基于深度学习的人脸特征提取方法，用于检测人脸拼接的伪造特征。
该方法首先训练一个孪生CNN来区分来自同一幅图像的脸对和来自两个随机图像的脸对。
一旦网络被训练，其中一个孪生CNNs被用来从测试图像的面部ims中提取特征。
采用支持向量机对实验图像中真实拼接的人脸进行分类。
我们对不同类型的IM计算方法进行了实验，发现IIC方法是其中表现最好的