Learning to Detect Fake Face Images in the Wild

时间 2020-08-10

标签 learning detect fake face images wild 栏目图片处理繁體版

原文原文链接

关键字：forgery detection, GAN, Contrastive loss, deep learning, fully convolutional network.网络

如今篡改检测存在的问题：很难发现GAN网络生成图像的可区别的共性特征。app

论文提出的检测方法：提出了一个深度篡改判别器[$DeepFD$]，是一个二分类的判别器，采用对比损失函数来寻找不一样GAN网络生成图像的共同特征，而后经过级联一个分类器来对上一步找到的特征进行分类。框架

实验采用的数据集：$CelebA$和各类GAN网络生成的数据集，包括$DCGAN、WGAP、WGAN-GP、LSGAN、PGGAN$dom

实验的结果：提出的$DeepFD$在对如今流行GAN网络生成图像的检测中实现了94.7%的准确率。函数

[补充] 对比损失函数性能

$L=\frac{1}{2N}\sum_{n=1}^Nyd^2+(1-y)max(margin-d,0)^2$学习

该损失函数最初的提出是在$Yann$$ LeCun$的Dimensionality Reduction by Learning an Invariant Mapping提出的，主要是用在降维中，即原本类似的样本，在通过降维（特征提取）后，在特征空间中，两个样本仍旧类似；而本来不类似的样本，在通过降维后，在特征空间中，两个样本仍旧不类似。
观察上面的对比损失函数，这种损失函数能够很好的表达成对样本的匹配程度，也可以很好用于训练提取特征的模型。当$y=1$（即样本类似）时，损失函数只剩下$∑yd^2$，即本来类似的样本，若是在特征空间的欧式距离较大，则说明当前的模型很差，所以加大损失。而当$y=0$时（即样本不类似）时，损失函数为$∑(1−y)max(margin−d,0)^2$，即当样本不类似时，其特征空间的欧式距离反而小的话，损失值会变大，这也正好符号咱们的要求。
这张图表示的就是损失函数值与样本特征的欧式距离之间的关系，其中红色虚线表示的是类似样本的损失值，蓝色实线表示的不类似样本的损失值。

1. 过往研究

图像篡改检测分为两类：外在特征[$extrinsic$ $feature$]和内在特征[$intrinsic$ $ feature$]。
外在特征是指将原始图片内嵌入惟一的信号，当收到这个图片的时候经过这个嵌入的信号来检测图像是否被修改。例如，水印。缺点是须要提早知道被嵌入的信号内容。
内在特征是指发现原始图像内在不变的特征，被篡改的图像应该可以经过检测提取出的统计属性来判断固有的属性是否发生变化。
相关研究：经过检测元件噪声、重压缩[$JPEG$格式]等线索来判断图像是否被篡改。
本文提出了一种神经网络：$deep$ $forgery$ $discriminator $ [$Deep FD$]来检测$GAN$网络生成的图像。收集的不一样GAN网络生成的图片来做为训练集，在这些训练集上，让采用对比损失函数的$DeepFD$网络经过成对的训练集学到共同的鉴别特征。
本文的贡献：提出一种基于对比损失函数的神经网络$DeepFD$来检测GAN网络生成的图像。$DeepFD$可以定位[$localize$]篡改图像的非真实的细节。

$DeepFD$包括两个阶段，第一个阶段是经过收集的数据和真实的图像来基于对比函数来学到共同的特征$D1$，第二阶段是经过判别器（分类器$D2$）对$D1$进行分类。（分类器$D2$直接级联到$D1$网络的第四层）网络的详细参数以下：测试

[Note] $C(N_t,2)$是排列组合的意思。优化

输入集的输入是以对为标准的，记$R_i=D_1(X_i)$，共同特征学习的目的是最小化$E_w(X_1,X_2)$：spa

\[E_w=||D_1(X_1)-D_1(X_2)|| \]

直接最小化$E_w(X_1,X_2)$能够将特征表示$D_1(X_i)$映射为常含数。这会致使特征表示没有意义。

因此咱们采用对比损失函数：

\[L(W,(P,x_1,x_2))=1/2(p_{ij}(E_w)^2+(1-p_{ij})(max(0,m-E_w)^2)) \]

其中$p_{ij}$表示两个样本是否类似，$m$为阈值。以这种方式，能够学习由不一样GAN生成的伪图像的共同特征。若是$p_{ij}=1$，经过对比损失函数，特征表示$D_1(X_i)$会更加类似$D_1(X_j)$。经过基于比对损失函数的迭代训练，共同特征很快即可学习到。

分类器能够采用SVM，随机森林分类器，拜耳分类器。本文采用的卷积神经网络做为分类器，这样会造成一个端对端的网络结构。卷积神经网络的损失函数采用交叉熵,采用反向传播训练。

\[L_C(x_i,y_i)=-\sum_{i}^{N_t}(D_2(D_1(x_i))log(y_i)) \]

数据集:$CelebA$和5中GAN网络，分别为$DCGAN、WGAP、WGAN-GP、LSGAN、PGGAN$

数据数量：每一个GAN网络生成200000个64×64大小的篡改图像池。对于$PGGAN$生成的高像素图像，咱们采用下采样来造成64×64大小的图像。最后选择出400198做为训练数据集和5000做为测试数据集。

网络参数：D1和D2学习率le-3，最大训练epoch为15，对比损失函数阈值m为0.5.Adam optimizer 优化。batch大小为32。在前两个epoch中，只采用成对的数据来训练D1，在这以后，训练D2。

为了实验的严谨，我和传统的实验进行对比而且设计了基准方法。同时也采用了不一样的分类器，例如RFC (Random forest classifier), SVM (Support vector machine), and LC(Linear classifier)。

图2展现了对比损失函数趋于稳定在25000次迭代（第2个epoch）上。

图三展现了在不包括LSGAN训练集，提出的$DeepFD$在采用对比损失函数和没有采用的状况下，性能的对比。

表二展现了和其它研究对比结果

LSGN显示了较少不切实际的细节图片。

问题？？？

$DeepFD$采用全卷积神经网络，能够将特征图可视化来定位篡改图像中不真实的细节。受引用[14]的启发，在分类器D2的最后一个卷积层中有两个通道，致使该层的学习目标将倾向于学习高激活特征表示，这能够被视为不切实际的细节定位。PGGAN生成的篡改图像的六个可视化结果如图4所示。

[问题]：这个定位不真实细节是如何实现的。

对比损失函数可用于很好地捕获由不一样GAN生成的篡改图像的共同判别特征。 此外，提出的分类器细化过程进一步提升了分类性能，可用于可视化假图像中的不真实细节。咱们的实验结果代表，该方法在准确性和查全率方面优于其余基准方法。