视频学习VALSE短课程《对抗攻击与防御》byXingjun Ma

Posted ViviranZ

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了视频学习VALSE短课程《对抗攻击与防御》byXingjun Ma相关的知识,希望对你有一定的参考价值。

1.Xingjun Ma

 

墨尔本大学的Xingjun Ma的讲座 迅速概述一下20200408

【背景】对抗样本攻击

加入噪音【图像识别、文本相关等】可能导致千差万别的结果

 

 分类:

 攻击和防御两方面。

具体方法:

白盒攻击:FGSM(早但是常用),现在还有很多别的方法

怎么看待对抗样本:

神经网络层级是从低维到高维的,高维中有low probability的忽视的区域,2018研究了空间维度,对抗样本是低维到高维的逃逸。

 学习

 学习decision surface到底多少数据才够

 DNN是一系列线性操作,即使x变化小,加起来y变化也很大

对抗防御 

1.生成对抗样本用于训练

关键:生成的对抗方法是不是够general

在原始样本周围生成,强迫判断边界比较smooth  

 介绍自己的工作

MART

本来就分错的怎么处理?把loss分了 ,比较发现效果好了

semi-supervised:用更多的数据提高鲁棒性(PGD真难呀)

 trasfer ability:

 A/B:A表示白盒攻击的成功率 B 是黑盒的

每次走跳连 黑盒高白盒几乎不变一直很高,一走卷积下降特别快

 降低走残差尽量走跳连,DN201提高了三十个点。。参数很厉害啊

 与其他方法结合:

 应用:对抗隐藏(真实世界中的对抗样本)

 style转移+对抗样本,生成的对抗样本更真实【自动驾驶等】

 攻击+风格转移

几种不同的攻击: 笑死,攻击能变成这样

 自己加了几块,结果生成变化很多(还是手动选框)

 加了对抗攻击的图片搜不出你,能保护隐私哈哈哈、

model的脆弱性

2.Zhanxing Zhu

北京大学数学系的,对抗训练+防御

 patch pixol 形变 实际上图片attack……DNN很脆弱 

 转化为优化问题

 

对抗攻击了可以获得更加细致的边界

 方法限制:

 2

证明不必要每次都要反向传播梯度(右下角图),而是可以固定住只更新和前一层相连的部分,隔一段在更新,(相当于把后面冻住)

 算法概述

 3 AMATA

只需要网络初期近似,迭代大步向前、次数少一点,后面次数多更精细步子小一点

基于最优控制,平衡误差和计算代价【退火算法?】

 加速了收敛,PGD40步的工作和2步差别不大和新方法相差不大,但如果优化后期参数找的比较好,步数就多了。效果变化 

D~是干扰后的,D是干净样本,以一定概率覆盖空间,采的均匀

 据说随机梯度很复杂的数学?回去看看

 decay比较慢

 4 探索adv训练的作用

大象皮肤纹理+猫=大象……?texture-biased?目的:像人一样更看重shape

分割:正常方法可以,对抗攻击的不行

 饱和度改变:对抗样本可以很好分辨出还是熊

 对抗样本还可以提高泛化性:

 找worst case

 

 噪声类型

 

茶话会:

 1.结合模型 不同模型不一样

还有可能是本身精度造成的近似导致error?

攻击是安全性,防御是鲁棒性,因此防御难

data representation

discriminative?global? 苏杭老师 朱瞻星老师

  自监督学习:学representation,有助于学习adversarial sample

 

 not numerical preceptional

对抗:欺骗机器而骗不了人 探索模型边界 压力测试 提供应用的可靠背景

人类视角or机器视角,衡量机器的标准是像不像人

分辨是否是对抗样本是一个二分类问题 easy

数学上定义可解释性?????没法处理,如果知道所有漏洞,全部白盒非常透彻,那么攻击非常清晰,能有鲁棒性可解释性那就肯定了

智能到智慧………………?

图上很容易攻击,加一条边可能就天壤之别

通过attack哪个影响大能分析深度学习的特点

黑盒攻击= =

1.defense

找一个模型,一个数据 充分理解

(SVM贝叶斯模型等,研究明白了怎么鲁棒性)

99%鲁棒的单元,把这个东西或者机制最大化、生成新的系统或者机构,鲁棒性和现有模型相比有无提高

全面透彻的分析,generalize到深度学习上

CVPR2020修改数据 测试数据 可以特定方式分成特定类别(加一个小棋盘会把是否有罪画反)

不是特别认可= =poisoning attack 修改训练数据集?为什么会得到数据集和模型?

复述别人模型???马老师

传统min-max;框架改一改?

min-min 打破认知 friendly adversiral training

朱占星(北京大学)、马兴军(墨尔本大学)、苏航(清华大学)、韩波(香港浸会大学)

以上是关于视频学习VALSE短课程《对抗攻击与防御》byXingjun Ma的主要内容,如果未能解决你的问题,请参考以下文章

视频学习VALSE短教程《因果发现与因果性学习》 蔡瑞初教授

视频学习VALSE短教程《因果发现与因果性学习》 蔡瑞初教授

6 15种对抗攻击的防御方法

2023对抗攻击与对抗防御思路清奇!CVPR: Person Re-Identification Method Based on Color Attack and Joint Defence

20165309 《网络对抗技术》实验九:Web安全基础

8.12 对抗攻击和防御