theirtts2

Posted 2020-11-24 skydaddy

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了theirtts2相关的知识，希望对你有一定的参考价值。

from https://zhuanlan.zhihu.com/p/90187724

TTS(Text-to-speech)入门

2019年8月13更新

blizzard challenge 2019结果出炉，MOS分4.3分有点出乎意料了。罗正宇的数据音质比较差，口头禅比较多。对于非定制TTS语料库，前期的洗数据是非常重要的，包括拼音校对以及文本增删。合成文本上有英文字母，没有使用base+x难以在英文字母上正常发音，特别是一些x和s这样的无法和中文共享音素的。

近来搜狗的变声功能已经上线，这种any to one的方式，偏娱乐性多一点，我测试过多种方言，有音素识别的sense但不明显，语音拉长唱歌无法迁移，音色也不是很像，按娱乐性定位已经很不错了。

—————————————————————————

2019年2月5日更新

基于tacotron + world的语音合成框架上线。由于数据集的音色不一致和韵律不稳定，端到端的学习是比较困难的。补充输入信息可以弥补端到端模型韵律预测不准和音色波动的问题。另外，通过tacotron自适应的方法，base+x，base可以使用标贝科技开放的女生数据（大约10h），x的数据量可以做到一小时以内，合成效果可以媲美base数据合成效果。（试过x的数据只用了100条，合成效果比较一般，能听得清楚，但是仔细听部分音会有点糊）

语音合成的发展趋势，应该朝着base+x，保证x合成效果的前提下，不断减少x的数据量，实现低成本合成，引爆行业。

—————————————————————————

2018年

端到端的网络，目前应该还是demo阶段为主。我研究tacotron1，tacotron2和deepvoice3比较多，以下的回答也是基于我跑过的相关实验来谈的。

端到端的语音合成存在着以下问题。

1.韵律结构不稳定。一般使用端到端的网络，可能使用的是十几个小时的数据集，大概5000到8000条数据左右，这样的数据量跟专门做韵律分析的模型样本比较，实在太少了。所以想直接从这几千条想得到一个比较稳定的韵律预测，其实是一个很困难的事情。在实验中也可以发现，从合成的自然度来看，端到端的语音合成在部分样本上可以真人达到无法分辨的效果，有一些样本合成出来韵律比较随机，根本放到业务上正常使用。例如明天气温19度。用端到端的网络，合成出来的可能会变成，明_天气_温19度，只要训练集里天气是一个比较高频的词。如果加上各种附加条件，例如韵律信息，时长信息，那这个也不算是严格意义上的端到端网络了。

2.性能方面。真正要放到业务上使用，非常看重可以同时跑多少路的问题。目前，用传统的，拼接或者参数法，合成的一部20万字的长篇小说，成本大约是五块钱以下。如果大规模的使用神经网络，在这方面，成本会大大增加。

3.稳定性隐患。端到端的网络，有一个很明显的缺点在于不好调试。太依赖神经网络的自我学习能力，一旦出了错误，不好定位。如果真的要投到业务中使用没有，需要经过几万几十万的，大规模测试，发错音错字，跳字，或者停顿混乱这样的风险系数非常大。以tacotron为例，从Bahdanau arrention到location attention再到现在的forward attention，错漏字的情况明显好转了，但是仍然有缺陷。

对于跨域种和多特征人少样本这种应用场景下，端到端的网络仍然有明显优势

最近公司想做TTS，声纹的坑先暂时搁置。。

Text-to-speech顾名思义，输入一段文本，输出一段语音（物理上也可以看作波）。

主要方法有：拼接法，参数法，混合法和神经网络学习

1.拼接法

顾名思义，把每个字（词）拆分成更小的单元，拼接到一起。方法过于粗暴不细讲了。

2.参数法（传统机器学习）

流程：

训练：统计模型学习语音特征和声学特征的关系
生成（预测）：用模型预测出声学特征（比如基频、共振峰频率等），将声学特征还原成波形

模块：

前端

前端：将任意文本转为语言学特征，通常包括文本正则化，分词，词性预测，字音转字形（Grapheme-to-Phoneme），多音字（Polyphone）消歧、韵律估计等子模块。文本正则化可以将一些书面表达转为口语表达，如1%转为“百分之一”，1kg转为“一千克”等。分词和词性预测是韵律估计（Prosody Prediction）的基础。字形转音形将speech转化成音素s p iy ch。韵律词和韵律短语会在分词和词性信息的基础上生成。