利用对抗变化网络进行对抗训练

Posted 2022-02-09 鬼道2022

1 引言

 前一段时间解读了一篇发表于CVPR2021的一篇文章《Improving the Transferability of Adversarial Samples with AdversarialTransformations》，解读文章的链接为《CVPR2021：对抗变换提高对抗样本的可迁移性》。该论文的创新点是首先对抗训练出一个对抗变换网络，该对抗变换网络的核心作用是用来抑制对抗样本攻击性，然后借助对抗变换网络生成对抗样本，最终生成的对抗样本在攻击性和可迁移性的方面能力得到了显著的提高。由此启发一个想法油然而生，如果利用论文中方法生成对抗样本对分类器模型进行对抗训练，那么是不是会使分类器模型的更加鲁棒呢？带着这个问题展开本文章的理论分析和实验验证。

2 方法描述

 令$x\in {\mathbb{R}}^{n\times 1}$表示干净的数据样本，其对应的真实标签为$y\in 1,\cdots ,k$；带有参数$\theta$的分类器网络为$f_{\theta }(x)$，其映射为$f_{\theta }:{\mathbb{R}}^{n\times 1}\to {\mathbb{R}}^{k\times 1}$；带有参数$\phi$的对抗变换网络$g_{\phi }(x)$，其映射为$g_{\phi }:{\mathbb{R}}^{n\times 1}\to {\mathbb{R}}^{n\times 1}$；损失函数为$J(\cdot ,\cdot )$。生成对抗样本$x^{\prime }\in {\mathbb{R}}^{n\times 1}$一般的优化形式为$$\begin{array}{rl}\underset{x^{\prime }}{\max }& J(f_{\theta }(x^{\prime }),y)\\ \mathrm{s}.\mathrm{t}.& \Vert x^{\prime }-x{\Vert }_{\infty }\le \epsilon \end{array}$$其中$\Vert \cdot {\Vert }_{\infty }$表示的是无穷范数，$\epsilon$表示的是对抗样本$x^{\prime }$和干净样本$x$之间的最大扰动距离。
 当前常用样本数据变换的方式比较固定，比如翻转，缩放，颜色变换等。对抗变换网络的主要目的增强样本变换多样性，从而抑制对抗扰动的攻击性。在生成对抗样本的时候，则需要克服对抗变换网络削弱对抗攻击性的条件下，依然能够使得分类器模型分类出错。对抗变换网络训练与对抗样本生成的对抗目标可以用如下$\min$-$\max$公式给出$$\begin{array}{rl}\underset{\phi }{\min }\underset{x^{\prime }}{\max }& J(f_{\theta }(g_{\phi }(x^{\prime })),y)\\ \mathrm{s}.\mathrm{t}.& \begin{array}{rl}\Vert & x^{\prime }-x{\Vert }_{\infty }\le \epsilon \\ & \arg \max f_{\theta }(g_{\phi }(x))=y\end{array}\end{array}$$其中对抗变换网络$g_{\phi }(\cdot )$可以是$\mathrm{C}\mathrm{N}\mathrm{N}$网络，也可以是$\mathrm{V}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{m}\mathrm{e}\mathrm{r}$，在以下的实验方法中会着重对这两种网络架构进行探讨。
 借助对抗网络$g_{\phi }(\cdot )$生成的对抗样本$x^{\prime }$对分类器模型$f_{\theta }$进行对抗训练。此时对抗训练的目标可以由双$\min$-$\max$进行描述$$\begin{array}{rl}\underset{\theta }{\min }\underset{x^{\prime }}{\max }\underset{\phi }{\min }\underset{x^{\prime }}{\max }& J(f_{\theta }(g_{\phi }(x^{\prime })),y)\\ \mathrm{s}.\mathrm{t}.& \begin{array}{rl}\Vert & x^{以上是关于利用对抗变化网络进行对抗训练的主要内容，如果未能解决你的问题，请参考以下文章}\\ & \end{array}\end{array}$$

神经网络中的对抗攻击与对抗样本

对抗训练

利用tensorflow训练简单的生成对抗网络GAN

关于GAN生成式对抗网络中判别器的输出的问题

CVPR2021：对抗变换提高对抗样本的可迁移性

生成对抗网络发展及其主要工程应用综述