文字风格迁移

Posted 2021-08-29 云淡风轻__

文章目录

• • 文字风格转换cycle GAN做法
  • • 文字与语音和图像有所不同，不能合并做梯度下降和梯度上升了（不能微分）
    • • 无法微分问题的解决方法：
      • • ScratchGAN：把各式各样用RL训练生成器的tips都试了一遍
  • 更多的转换举例：
  • 文字的starGAN：style transformer

语音风格转换：男声变女声

文字风格转换cycle GAN做法

1. 通常正负面的句子不成对出现，所以使用无监督学习的方法
2. 要做这个任务：Cycle GAN

1. 训练一个discriminator识别器看很多正面的句子，学到识别正面的句子
2. 用生成器把负面句子变正面，用识别器来识别是否变成了正面>
3. 还需要一个reconstructor能把正面转回负面句子，并最小化这个误差

文字与语音和图像有所不同，不能合并做梯度下降和梯度上升了（不能微分）

1. 文字的生成器通常是s2s

2. 无法微分问题的解决方法：

   • Gumbel-softmax（不常用，就是不可微变成可微）

• Continuous input for discriminator（不常用，跳过无法微分的simple部分，有问题：学不到东西，只判断是否独热编码就确定结果了）

  • Reinforcement learning（不能微分的东西就用reinforcement硬train，很难训练，RL+GAN训练难度非常大简直就是灾难）

  ScratchGAN：把各式各样用RL训练生成器的tips都试了一遍

  1. FED值越小越好

  2. 非常重要的一个SeqGAN-step，不用就训练不起来

  3. RL放在GAN里面为什么训练这么困难：识别器要看生成器的完整输出才能开始识别，对整体给出分数，就不知道是哪一部分有问题。所以要求生成器给每个生成步骤一个分数（三个方法MC search√，discriminator for partially decoded sequence，step-wise evaluation可以尝试），就可以快速的修正参数，训练出一个好结果

更多的转换举例：

Lample，et al.,ICLR 19 文字转换可以做各式各样有趣的应用

文字的starGAN：style transformer