IMaT: Unsupervised Text Attribute Transfer via Iterative Matching and Translation

Posted 2022-12-04 Facico

IMaT: Unsupervised Text Attribute Transfer via Iterative Matching and Translation

大致流程

• 1、Matching：在目标语料库构造语义相似的伪平行样本
• 2、使用seq2seq类的模型，学习一个文本生成器
• 3、通过细化对齐中不完善的部分，迭代反复提高transfer的功能

1、Matching

在第0($t=0$)次迭代时，通过在两个语料库中配对来构造伪平行样本$\hat{X}，{\hat{Y}}^{(0)}$
- 计算句子x和每个句子y的余弦相似度，取最高的
- 只在相似度大于阈值$\gamma$时保留句子对
- 所以$\hat{X}$表示能找到匹配的句子的集合，即$X$的子集

在$t\ge 1$

• 在t-1次迭代的第三部得到的$Y^{(t)}来匹配Y，找到余弦相似度最相似的，得到$$Matc{h}^{(t)}$
• 比较${\hat{Y}}^{(t)}$与$Matc{h}^{(t)}$，取与$\hat{X}$的WMD分数（word mover distance）较小的那个
• 得到${\hat{Y}}^{(t)}$

WMD

WMD用于测量内容从原句到重写内容的转化
$$WMD(s_a,s_b)=\underset{T\ge 0}{\min }\sum _{i,j=1}^n{T}_{i,j}\cdot c(i,j)$$

• $\text{i in }{s}_a,\text{j in }{s}_b$
• $\text{travel distance}：T(i,j)$
• $\text{corresponding cost of "word travel"}：c(i,j)$
  由于已经构建了较好的伪平行语料，所以通过与原句的最小变化来最大限度的减少内容的转移

相对于句子相似性的其他标准：

• 1、没有超参调整
• 2、能适当处理句子长度不平衡的问题
• 3、词级别
• 4、有很高的准确性

2、Translation

• 在$t\ge 0$时，用seq2seq模型，得到attention分数$M^{(t)}$

3、Refinement

这里使用步骤2得到的attention分数$M^{(t)}$来refine步骤1得到的${\hat{Y}}^{(t)}$

• 使用$M^{(t)}$针对句子$x_i\in \hat{X}$得到$tran{s}_i^{(t)}$，并形成一个暂时的语料$Tran{s}^{(t)}$
• 比较$WMD(x_i,{\hat{y}}_i)$和$WMD(x_i,tran{s}_i)$，把较小的填进${\hat{Y}}^{(t+1)}$

伪代码