2023对抗攻击与对抗防御思路清奇！CVPR： Person Re-Identification Method Based on Color Attack and Joint Defence

Posted 2023-03-09 进击吧巨人！

【对抗攻击与对抗防御】思路清奇！CVPR： Person Re-Identification Method Based on Color Attack and Joint Defence 计算机视觉图像对抗攻防必读，强烈推荐！

论文链接: link.
这篇论文作者提出的方法最重要的一点在于，它不需要依赖于对抗训练这一防御方法！不仅在节省了时间和性能上的开销并且所取得的性能还超过了那些依赖于对抗训练的防御方法!整体思路上也很独特，从中可以给予人许多启发。

论文介绍

ReID的主要挑战是不同相机条件下颜色偏差引起的类内变化。同时，我们发现大多数现有的对抗性度量攻击是通过干扰样本的颜色特征来实现的。基于这一观察结果，我们首先提出了一种基于颜色变化的局部变换攻击(LTA)。它使用更明显的颜色变化来随机干扰检索图像的颜色，而不是添加随机噪声。实验结果表明，所提出的LTA方法性能优于现有的先进攻击方法。此外，考虑到轮廓特征是对抗训练鲁棒性的主要因素，颜色特征将直接影响攻击成功率。为此，我们进一步提出了联合对抗防御(JAD)方法，包括主动防御和被动防御。主动防御融合多模态图像增强轮廓特征和颜色特征，并考虑局部同态变换解决过拟合问题。被动防御利用了图像缩放过程中轮廓特征的不变性，减轻了对抗性对轮廓特征的干扰。最后，一系列实验结果表明，所提出的联合对抗防御方法比目前最先进的方法更具竞争力。

这篇论文的贡献总结;
1.提出了一种专门针对图像颜色特征的攻击方法
2.提出了一种联合防御方法：通过所提出的数据增强方法使得模型颜色特征变得鲁棒联合防御的前半部分），作者发现这样做之后攻击会攻击把目标锁定在更容易攻破的轮廓特征上，于是作者在利用所提出的迂回缩放（联合防御的后半部分）来清理轮廓特征上的对抗噪声，实现了联合防御。

图中作者给出了自己提出的颜色攻击与其他攻击方法在检索结果中的差异。从图(d)可以看到作者提出的攻击方法导致模型对颜色信息的判断错误最为明显，模型把蓝色条纹上衣误判为红色条纹及黑白条纹（第1张是待检索图片，后5张是模型的推理检索结果）。
图:(a)为干净实例检索结果。(b)对应Meric-IFGSM攻击[12]，（c)对应SMA攻击[13]，(d)对应提出的LTA攻击。图像上的数字表示检索结果的相似度等级，红色和绿色数字分别表示错误和正确的结果。

从图中可以明显的看到作者提出的联合方法方法产生了明显的效果，随着作者联合防御的过程中，对抗噪声变得越来越稀疏，并且从图片中可以看到对抗样本上在人体轮廓中的干扰也越来越弱，这正是本文提出的联合防御方法的精彩之处！

作者所提出的联合防御方案示意图。
图：我们的攻击和联合对抗防御框架图。在我们的局部变换攻击(LTA)中，它基于LGT[17]在每个基本迭代中构造一个与原始图像具有局部差异的参考图像，从而将参考图像的特征从原始图像中推离。在主动防御中，我们结合了可见光、灰度和草图三种模态图像进行随机信道融合。在被动防御中，它是通过图像的迂回缩放来实现的。

另附上一篇该作者的相关论文：
论文链接: link.
《Eliminate Deviation with Deviation for Data Augmentation and a General Multi-modal Data Learning Method》同样是一篇思路不错的文章，作者在该文章中提出的一种新颖又简单有效的数据增强方法，可以帮助目前几个先进的baseline提升1-2个点的性能。