神经网络中的对抗攻击与对抗样本

Posted 2023-04-04

参考技术A

对抗攻击

对抗攻击论文参考：
《Intriguing properties of neural networks》
《神经网络有趣的特性》

《Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey》，以下简称『Survey』。

图片做适当修改后能欺骗深度学习模型的可能性

1.举例理解：

左边是一张能够被GoogLeNet正常分类为熊猫的图片，在添加一定的噪音后变成右图，在人的肉眼看来，它还是熊猫，但GoogLeNet会判定为长臂猿。这种被修改后人类无法明显察觉，却被机器识别错误的数据即为 对抗样本 ，而这整个过程就可以理解为 对抗攻击 。

2.数学理解：
神经网络中每层神经元的输入 a = g(Wx+b)，其中 g 为激活函数，W 为权重参数，x 为上一层的样本数据，b 为偏置参数，那么从拓扑学角度来看，在一个二维平面上，这个过程相当于哪几个步骤呢？
（1）一次使用权重参数矩阵 W 的线性变换
（2）一次使用偏执向量 b 的移动
（3）一次应用非线性激活函数 g 的变换

在 二维平面 ，其实是将整个平面进行了 旋转、移动和拉伸 三步。

分类问题

简单分类问题：通过较少几次变换将问题转换为一条直线可分割的空间。
既是一层神经网络就可以完成分类，通过变换空间布局，最终通过一条直线完成分类。

举例：

简单转换ing........

转换结果看下图

复杂分类问题：通过多几次的转换完成将问题转换为一条直线可分割的空间。
就是多层神经网络完成分类，通过变换空间布局，最终通过一条直线完成分类。

举例：

动态多步转换

以上是从低维度理解神经网络的训练，其中也有难以拉伸的例外，下图所示的圆套圆的情况，就是难以在二维空间将其拉伸到理想的位置的例子。

但，增加神经元，可以在 三维空间 中轻松将其分离。

看！

归纳 同样对于复杂问题可以通过，增加神经元在高维度通过更长且复杂的方式解决。

但是例如两个相互套起来的环，按照推测需要在四维空间中才能完全分开，然而我们难以想象四维空间，在现实世界的数据集中，这种死结或者缠绕问题可能会更复杂。

对于神经网络来，可以选择 将打成死结的数据尽可能拉伸开，而不是完全解开 ，如下图，对于分类问题来说，已经具有较高的准确率和召回率。

部分情况下，为了更精确地分类，较宽的神经网络可能相对深度来说更重要。

综上所述
1. 神经网络中包含语义信息的不在每个独立的神经单元，而是整个空间。 神经网络在最后一层能将样本中诸多变化的因子理清楚并理解其语义，并不是因为某个独立神经元中包含了什么特定的语义，而是 对整个空间进行变换后从最终的表征层中学到的 ，经过学习，神经网络会 放大某些相关因子，同时缩小某些无关因子 。

2. 神经网络学习到的输入到输出的映射在很大程度上是不连续的。 就像上面图中为了解开一个死结所做的拉伸结果一样， 在人看来，在拉伸距离较大的地方我们可以认为这种映射是连续的， 然而 对于仍然缠绕在一起的部分，之前可以用来划分界限的直线或者超平面已经无法连续 。
通过仔细观察可以区分出来，但是上文只是一个简单的例子，现实世界中的真实数据较为复杂，对于肉眼来说可能很难分清楚缠绕在一起的部分。对于神经网络来说， 对抗样本已经严重的跨过了用于分类的界限 ，而对于肉眼其实还 看不出来它有移动。

（）线性特性的攻击行为（）和（）高效制造对抗样本的方法（）

参考论文：
《Explaining and harnessing adversarial examples》
《对抗性例子的解读和掌握》

深度神经网络在高纬空间中的线性特性已经足以产生这种攻击行为 ，并提出了一种 更高效生成对抗样本的方法 ，接下来我们就简单分析一下这一理论和方法。

目前神经网络为了提高训练效率所使用的激活函数在局部都过于线性。
例如：

类比先前举出的拓扑学例子，在 最后的表征层 都是 通过直线或超平面完成的分类 ，在线性的假设下，暂且不通过二维或三维空间来理解，先从一个简单的数学公式角度开始。

数学解释

公式内容解释：
w 是训练好的参数向量
x 表示真实样本数据向量
η 表示给图像加入的噪音向量
x ~表示加入噪音后新生成的样本

当加入足够小的 η 时，肉眼无法区分出 x 的变化，直观感觉上左边的式子可能也不会变化很大。
事实上 ，然而 η 当的方向与 w 完全一致的时候，即使很小，也会使整个激活值变化很大。
假设证明：
如果 w 是一个 n 维向量，而其权值的平均大小为 m，那么激活值将会增加 nm。可见，在一个肉眼几乎无法差觉的扰动干扰下，对神经网络最终激活层的计算会产生巨大的干扰，从而迷惑神经网络训练出来的模型。

寻找正确方向
当 η 与 w 的方向一致时会使激活值最大，那么，如何找到这个正确的方向呢？

结论，那就是损失函数在待构造样本上的梯度方向，即下面的式子。
ε 是一个调节系数
sign() 是一个符号函数，代表的意思也很简单，就是取一个值的符号
（当值大于 0 时取 1，当值等于 0 时取 0，当值小于 0 时取 -1）
▽ 表示求 x 的梯度，可以理解为偏导，
J 是训练模型的损失函数。

结论的由来
在正常的神经网络模型训练过程中，有一个过程叫反向传播，就是对参数求偏导，然后将参数更新，我们结合下面这张图看一下。

假设图中的函数即为 损失函数 ，为了使损失函数降到最低，我们会根据当前值的梯度去调整。
当梯度小于 0 的时候我们可以看出，当前值需要右移。
而当梯度大于 0 的时候，当前值需要左移。
这个过程实际上就是用 θ 减去 θ。扩展到损失函数 J(θ, x, y) 中，θ 即为 我们要调整的参数 ，因此在样本 x 和 y 不改变的情况下，我们会**不断去调整参数 θ **以寻求局部最优解，即 θ = θ - θ 。

生成对抗样本，也可以采用类似的方法，那就是 固定参数 θ，调整 x 同时使损失函数增大 ，而不是变小，此时就应该让 x 往相反的方向走，即 x = x + x ，这样是不是很容易可以理解上面 η 的定义呢？在实践中，我们还需要通过 ε 这个参数来 调节噪音的大小 ，这种方法相比之前提到的优化方法非常高效，基本只需要一次计算就可以找到对抗样本，因此作者将这种方法叫做 快速梯度符号法 （Fast Gradient Sign Method，FGSM）。总结一下FGSM，这种方法通过替换目标值 y 就可以 让攻击样本朝着指定的分类目标走 ，即，可以做任意目标的欺骗。

将线性假设简化到二维空间，我们要求的 η 其方向正好就接近于参数 w 的方向，不再展开说明，有兴趣的读者可以自行画一画。

建立在一个高维空间线性的假设或猜测前提下，需要 实验 支撑，根据下列图片分析展开。

图片解释

这张图是对数据集CIFAR-10的分类器的决策边界示意图。
其中每个小格子代表的是不同的CIFAR-10样本，
每个小格子中：
横向从左往右代表的是FGSM算法中的梯度方向，
纵向代表的是FGSM梯度方向的正交方向，
白色表示模型能分类正确的情况
彩色代表预测出错的情况
不同的颜色代表不同的错误预测分类。
可以看出，在出错的区域都程线性分布，另外，如果横轴的方向走的不够远，即便再往其他方向走都无法使模型出错，而一单进入这个区域，就会出现大量的对抗样本。而在随机找到的对抗样本中，这种分布也是很随机的，甚至很难找到，见下图。

从实验结果表明
高维空间中的线性假设也是合理的

举例
一匹叫做 Clever Hans 的马，刚出现的时候人们认为这匹马会做算术，但实际上它只是会阅读人的表情，当它点马蹄的次数接近正确答案时，人们的表情会更兴奋，它就知道该这个时候停止了。

隐喻神经网络，一个测试效果良好的分类器，其实并不像人类一样学习到了所分类样本的真正底层概念，只不过刚好构建了一个在训练数据上运行相当良好的模型，所以，你以为你以为的就是你以为的吗？

分类器能够在训练集的不同子集上训练时获得大致相同的分类权重，因为机器学习算法能够泛化， 基础分类权重的稳定性反过来又会导致对抗性样本的稳定性。因此， 对抗攻击可以认为是存在于任何神经网络模型。

以上是论文二的线性特性的攻击行为

高效制造对抗样本的方法

目前来看还没有能够完全抵抗这种攻击的方法，其实结合攻击的原理也不难看出，即便分类器做得再好，总能使一个样本用最小的干扰走到错误的分类区域，我们能做的更多是如何构造鲁棒性更强的模型，同时也保持对这个领域的关注。『Survey』（注意第一篇论文的引用有注释）中总结的目前抵御攻击的办法可以分为三大类：

1.修改训练样本 ———— 通过添加更多的对抗样本到训练集中可以有效避免一部分攻击 ，但这更像是一种无奈的做法， 当扩大样本集的时候，其实分类边界有可能也在随之扩大 。

2.修改训练网络 ，这类方法会对训练网络做出一定调整，其中有一种方式是模拟生物学 在最后一层使用更加非线性的激活函数 ，但这种方式又会 导致训练效率和效果下降 。修改训练网络的方法分为 完全抵抗 和 仅检测 两种方式，完全抵抗其实就是让模型能将对抗样本识别为正确的分类，而仅检测是为了发现这种攻击样本，从而拒绝服务。

3.附加网络 ，这种方式是在 不改变原有模型的情况下使用额外的网络进行辅助 ，这样可以使原有网络保持不变，其中最有效的一种方式是生成式对抗网络——GAN。同样的，这种方式也分为 完全抵抗 和 仅检测 两种方式。

总结一下
定义：
对抗样本：是指在数据集中通过故意添加细微的干扰所形成的输入样本，会导致模型以高置信度给出一个错误的输出。
原因分析：
对抗样本出现的主要原因之一是过度线性， 神经网络主要是基于线性块构建的，实现的整体函数被证明是高度线性的，如果一个线性函数具有许多输入，那么它的值可以非常迅速地改变。

参考：

6 15种对抗攻击的防御方法

目前，在对抗攻击防御上存在三个主要方向：

1）在学习过程中修改训练过程或者修改的输入样本。

2）修改网络，比如：添加更多层/子网络、改变损失/激活函数等。

3）当分类未见过的样本时，用外部模型作为附加网络。

第一个方法没有直接处理学习模型。另一方面，另外两个分类是更加关心神经网络本身的。这些方法可以被进一步细分为两种类型：（a）完全防御；（b）仅探测（detection only）。「完全防御」方法的目标是让网络将对抗样本识别为正确的类别。另一方面，「仅探测」方法意味着在对抗样本上发出报警以拒绝任何进一步的处理。详细的分类在图 9 中展示了。剩下的章节是按这个分类来整理的。

图 9：防御对抗攻击的方法分类。

6.1 修改训练过程/ 输入数据

1 蛮力对抗训练

通过不断输入新类型的对抗样本并执行对抗训练，从而不断提升网络的鲁棒性。为了保证有效性，该方法需要使用高强度的对抗样本，并且网络架构要有充足的表达能力。这种方法需要大量的训练数据，因而被称为蛮力对抗训练。很多文献中提到这种蛮力的对抗训练可以正则化网络以减少过拟合 [23,90]。然而，Moosavi-Dezfooli[16] 指出，无论添加多少对抗样本，都存在新的对抗攻击样本可以再次欺骗网络。

2 数据压缩

注意到大多数训练图像都是 JPG 格式，Dziugaite[123] 等人使用 JPG 图像压缩的方法，减少对抗扰动对准确率的影响。实验证明该方法对部分对抗攻击算法有效，但通常仅采用压缩方法是远远不够的，并且压缩图像时同时也会降低正常分类的准确率，后来提出的 PCA 压缩方法也有同样的缺点。

3 基于中央凹机制的防御

Luo[119] 等人提出用中央凹（foveation）机制可以防御 L-BFGS 和 FGSM 生成的对抗扰动，其假设是图像分布对于转换变动是鲁棒的，而扰动不具备这种特性。但这种方法的普遍性尚未得到证明。

4 数据随机化方法

Xie[115] 等人发现对训练图像引入随机重缩放可以减弱对抗攻击的强度，其它方法还包括随机 padding、训练过程中的图像增强等。

6.2 修改网络

5 深度压缩网络

人们观察到简单地将去噪自编码器（Denoising Auto Encoders）堆叠到原来的网络上只会使其变得更加脆弱，因而 Gu 和 Rigazio[24] 引入了深度压缩网络（Deep Contractive Networks），其中使用了和压缩自编码器（Contractive Auto Encoders）类似的平滑度惩罚项。

6 梯度正则化/ masking

使用输入梯度正则化以提高对抗攻击鲁棒性 [52]，该方法和蛮力对抗训练结合有很好的效果，但计算复杂度太高。

7 Defensive distillation

distillation 是指将复杂网络的知识迁移到简单网络上，由 Hinton[166] 提出。Papernot[38] 利用这种技术提出了 Defensive distillation，并证明其可以抵抗小幅度扰动的对抗攻击。

8 生物启发的防御方法

使用类似与生物大脑中非线性树突计算的高度非线性激活函数以防御对抗攻击 [124]。另外一项工作 Dense Associative Memory 模型也是基于相似的机制 [127]。

9 Parseval 网络

在一层中利用全局 Lipschitz 常数加控制，利用保持每一层的 Lipschitz 常数来摆脱对抗样本的干扰。

10 DeepCloak

在分类层（一般为输出层）前加一层特意为对抗样本训练的层。它背后的理论认为在最显著的层里包含着最敏感的特征。

11 混杂方法

这章包含了多个人从多种角度对深度学习模型的调整从而使模型可以抵抗对抗性攻击。

12 仅探测方法

这章介绍了 4 种网络，SafetyNet，Detector subnetwork，Exploiting convolution filter statistics 及 Additional class augmentation。

• SafetyNet 介绍了 ReLU 对对抗样本的模式与一般图片的不一样，文中介绍了一个用 SVM 实现的工作。
• Detector subnetwork 介绍了用 FGSM, BIM 和 DeepFool 方法实现的对对抗样本免疫的网络的优缺点。
• Exploiting convolution filter statistics 介绍了同 CNN 和统计学的方法做的模型在分辨对抗样本上可以有 85% 的正确率。

6.3 使用附加网络

13 防御通用扰动

利用一个单独训练的网络加在原来的模型上，从而达到不需要调整系数而且免疫对抗样本的方法。

14 基于 GAN 的防御

用 GAN 为基础的网络可以抵抗对抗攻击，而且作者提出在所有模型上用相同的办法来做都可以抵抗对抗样本。

15 仅探测方法

介绍了 Feature Squeezing、MagNet 以及混杂的办法。

• Feature Squeezing 方法用了两个模型来探查是不是对抗样本。后续的工作介绍了这个方法对 C&W 攻击也有能接受的抵抗力。
• MagNet:作者用一个分类器对图片的流行（manifold）测量值来训练，从而分辨出图片是不是带噪声的。
• 混杂方法（Miscellaneous Methods）：作者训练了一个模型，把所有输入图片当成带噪声的，先学习怎么去平滑图片，之后再进行分类。

http://www.sohu.com/a/224888255_129720