NLP之语音转换

Posted 2021-12-08 今天学习算法了吗

1. 先上解决方法以及模型总结图：

 2. 目前方法主要是针对非并行数据解决。

3. 因为解耦的方法在训练以及测试过程中，数据分布是不一样的。

 所以要加上2nd stage training。（因为没有label，所以要加上dis和classifier）

4. cycleGAN与starGAN的区别：

即cycleGAN训练好的网络只能实现一种转换。但是starGAN是可以通过输入不同的speaker vector实现任意的转换。其中speaker vector可以跟上面解耦方法一样，从one-hot或者pretrain model获得。

5. Blow是最新提出的，这个模型我还没看，等看完再写。以及什么是i-vector（pretrained speaker model），老师说后面会讲到。