论文笔记---Adversarial Learning for Robust Deep Clustering

Posted 2021-06-29 小葵花幼儿园园长

Adversarial Learning for Robust Deep Clustering

• introduction
• 背景和准备
• 方法
• • 网络架构
  • 具体方法
  • • 1
    • 2
    • 3
• 4.相关方法
• • 深度聚类

introduction

以前的工作：K-means ------- 谱聚类 ------- 子空间聚类

• K-means： 相似度度量对于高纬样本不准确
• 谱聚类： 核函数很难确定
• 子空间聚类：依赖线性子空间假设构建亲和矩阵，但数据在很多情况下并不自然地符合线性模型。

深度聚类：将embedding和聚类作为一个单一的过程来获得最优嵌入(或表示)空间的聚类。

现有的大部分深度聚类方法都是尽量减少重构损失，使目标嵌入空间更具分辨力，因为嵌入空间直接决定了聚类的质量，但是自编码器网络使用的重构耗损不能充分感知对抗性扰动。

this paper：

• 引入一种对抗学习算法提高网络深度聚类的鲁棒性，定义对抗性样本作为深度聚类的嵌入空间。
• 针对聚类网络提出一种强大的对抗攻击策略来探索不稳定样本，提出对应的防御算法

背景和准备

• 输入：$X=\left\{\begin{array}{c}{x}_1,x_2,...,x_n\end{array}\right\}$, 嵌入特征： $Z=\left\{\begin{array}{c}{z}_1,z_2,...,z_n\end{array}\right\}$
• $z_i\in {\mathbb{R}}^d$通过嵌入网络E学习，另一方面用于重构原始样本$x$
• 聚类函数$F:z\to y\in {\mathbb{R}}^K$, K为聚类总数，$Y=\left\{\begin{array}{c}{y}_1,....y_n\end{array}\right\}$保留最终聚类结果。

网络结构：

$$x\leftrightharpoons z\to y$$

损失函数（通过相对熵（KL散度）最小化共同优化）：
引入生成模型：

• $\pi$是权重
  聚类的损失变成：
  
• 第一项是重建损失。
• 在深度聚类场景中，y可以被解释为代表数据中的一些离散簇，z代表高斯混合，编码簇间和簇内的变化。
• $Q(y)$是一个固定的均匀先验。其权重由$\pi$指定。

方法

网络架构

• 红线表示对抗攻击策略
• 蓝线表示防御策略

具体方法

1

• 预训练网络（嵌入子网和聚类层）网络参数：$\theta$
• 攻击网络生成小的扰动$\delta$ , $\hat{z}=z+\delta$ ，网络参数：$\varphi$
• $\hat{z}$ 送入目标聚类网络得到重构样本$\hat{x}和聚类标签\hat{y}$
  

2

对抗性攻击的目的是：使受扰特征与干净特征相似，重构样本差异较小，但使相应的聚类结构相差较大。对抗性攻击学习的损失可以定义为：

• 其中，第一项是重构特征受扰动样本
• 第二项保证学习到的扰动不会破坏聚类网络的基本功能
• 最后一项是最大化聚类结构的差异。
• $\beta 和\gamma$是权衡超参数
• 小的扰动可以欺骗集群层，但是不会影响嵌入的性能，因为一些样本的簇结构在嵌入空间中不清晰。

3

我们最终希望由扰动特征生成的样本及其聚类结构应该与干净样本的聚类结构完全一致。

因此，将聚类结构与重构样本相结合，得到新的特征映射，并采用鉴别器（参数为$\psi$）来识别（x，y）与z之间的互信息：

• ((x,y),z)组成一个正的数据对，鉴别器给予高分
• 随机选择（x,y）,构造一个关于z的负数据对，鉴别器给予低分
• 符号T表示鉴别器的映射函数， 用于鉴别输入的互信息，$\sigma$表示鉴别器的激活函数。
• 这样使得（x,y）与z之间的相关性增强

同时，需要增加重构之后的（$\tilde{x},y$）与z的相关性。

• 利用鉴别器优化$\hat{z}$和$(\hat{x},y)$以及负数据对($\widetilde{x_t},y_t$). $\tilde{x}$是经过decoder重构的x
• 同样，构建了$z和（\hat{x},\hat{y}）$之间的相关性。
• $L_c$是原始深度聚类方法的目标函数，包含该方法以保证聚类网络的基本性能。$L_c$随着集群模型的更改而更改。

总之，防御算法是在原始聚类网络中整合一组基于扰动的对比约束，可以迫使嵌入的特征原理聚类的决策边界， 来消除学习到的扰动造成不同的结果，来提高聚类网络的鲁棒性和整体性能。

4.相关方法

深度聚类