Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation

Posted 2022-12-07 Facico

Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation

Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation

• 由于将风格和内容分开可能会破坏完整性，这里采用风格和内容纠缠在一起来表示

整个模型被分为三个部分

• 1、encoder$E_{{\theta }_e}$：把文本$x$编码进latent representation $z$中
• 2、decoder$D_{{\theta }_d}$：将$z$解码到文本$\hat{x}$中
• 3、attribute classifier$C_{{\theta }_c}$：为$z$分类
  $$\begin{gathered} {\hat{x}}^{\prime }=D_{{\theta }_d}(z^{\prime })where{z}^{\prime }=argmi{n}_{z^{\ast }}||z^{\ast }-E_{{\theta }_c}(x)|| \\ s.t.C_{{\theta }_c}(z^{\ast })=y^{\prime } \end{gathered}$$

Transformer-based Autoencoder

• 要构建一个低重构损失的自编码器
  $$\begin{gathered} z=E_{{\theta }_c}(x)=Sum(Sigmoid(GRU(U+H))) \\ whereU=E_{transformer}(x) \end{gathered}$$
• $U$：encoder得到的中间表示
• $H$：positional embedding

加入标签平滑正则LSR（label smoothing regularization），因此最后的重构损失为
$$\begin{gathered} {\mathcal{L}}_{ae}(D_{{\theta }_d}(E_{{\theta }_e}(x)),x)={\mathcal{L}}_{ae}(D_{{\theta }_d}(z),x)= \\ -\sum ^{|x|}((1-ϵ)\sum _{i=1}^v\overline{p_i}\log (p_i)+\frac{ϵ}{v}\sum _{i=1}^v\log (p_i)) \end{gathered}$$

• $v$：vocabulary size
• $ϵ$：平滑参数
• $p和{\overline{p}}_i$分别表示预测概率分布和真实概率分布

Attribute Classifier for Latent Representation

$${\mathcal{L}}_c(C_{{\theta }_c}(z),y)=-\sum _{i=1}^{|q|}{\overline{q}}_i\log q_i$$

• $q和\overline{q}$分别表示attribute的预测分布和真实分布

作者发现把上面两个loss分开优化，效果会比一起优化好

Fast Gradient Iterative Modification Algorithm

用于修改latent representation
$$z^{\ast }=z-w_i{\nabla }_z{\mathcal{L}}_c(C_{{\theta }_c}(z),y^{\prime })$$

• $w^{}$