theirtts2

Posted skydaddy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了theirtts2相关的知识,希望对你有一定的参考价值。

from https://zhuanlan.zhihu.com/p/90187724

TTS(Text-to-speech)入门



2019年8月13更新

blizzard challenge 2019结果出炉,MOS分4.3分有点出乎意料了。罗正宇的数据音质比较差,口头禅比较多。对于非定制TTS语料库,前期的洗数据是非常重要的,包括拼音校对以及文本增删。合成文本上有英文字母,没有使用base+x难以在英文字母上正常发音,特别是一些x和s这样的无法和中文共享音素的。

近来搜狗的变声功能已经上线,这种any to one的方式,偏娱乐性多一点,我测试过多种方言,有音素识别的sense但不明显,语音拉长唱歌无法迁移,音色也不是很像,按娱乐性定位已经很不错了。

—————————————————————————

2019年2月5日更新

基于tacotron + world的语音合成框架上线。由于数据集的音色不一致和韵律不稳定,端到端的学习是比较困难的。补充输入信息可以弥补端到端模型韵律预测不准和音色波动的问题。另外,通过tacotron自适应的方法,base+x,base可以使用标贝科技开放的女生数据(大约10h),x的数据量可以做到一小时以内,合成效果可以媲美base数据合成效果。(试过x的数据只用了100条,合成效果比较一般,能听得清楚,但是仔细听部分音会有点糊)

语音合成的发展趋势,应该朝着base+x,保证x合成效果的前提下,不断减少x的数据量,实现低成本合成,引爆行业。

—————————————————————————

2018年

端到端的网络,目前应该还是demo阶段为主。我研究tacotron1,tacotron2和deepvoice3比较多,以下的回答也是基于我跑过的相关实验来谈的。

端到端的语音合成存在着以下问题。

1.韵律结构不稳定。一般使用端到端的网络,可能使用的是十几个小时的数据集,大概5000到8000条数据左右,这样的数据量跟专门做韵律分析的模型样本比较,实在太少了。所以想直接从这几千条想得到一个比较稳定的韵律预测,其实是一个很困难的事情。在实验中也可以发现,从合成的自然度来看,端到端的语音合成在部分样本上可以真人达到无法分辨的效果,有一些样本合成出来韵律比较随机,根本放到业务上正常使用。例如明天气温19度。用端到端的网络,合成出来的可能会变成,明_天气_温19度,只要训练集里天气是一个比较高频的词。如果加上各种附加条件,例如韵律信息,时长信息,那这个也不算是严格意义上的端到端网络了。

2.性能方面。真正要放到业务上使用,非常看重可以同时跑多少路的问题。目前,用传统的,拼接或者参数法,合成的一部20万字的长篇小说,成本大约是五块钱以下。如果大规模的使用神经网络,在这方面,成本会大大增加。

3.稳定性隐患。端到端的网络,有一个很明显的缺点在于不好调试。太依赖神经网络的自我学习能力,一旦出了错误,不好定位。如果真的要投到业务中使用没有,需要经过几万几十万的,大规模测试,发错音错字,跳字,或者停顿混乱这样的风险系数非常大。以tacotron为例,从Bahdanau arrention到location attention再到现在的forward attention,错漏字的情况明显好转了,但是仍然有缺陷。

对于跨域种和多特征人少样本这种应用场景下,端到端的网络仍然有明显优势

最近公司想做TTS,声纹的坑先暂时搁置。。

Text-to-speech顾名思义,输入一段文本,输出一段语音(物理上也可以看作波)。

技术图片

主要方法有:拼接法,参数法,混合法和神经网络学习

1.拼接法

顾名思义,把每个字(词)拆分成更小的单元,拼接到一起。方法过于粗暴不细讲了。

2.参数法(传统机器学习)

流程:

训练:统计模型学习语音特征和声学特征的关系
生成(预测):用模型预测出声学特征(比如基频、共振峰频率等),将声学特征还原成波形

模块:

技术图片前端
前端:将任意文本转为语言学特征,通常包括文本正则化,分词,词性预测,字音转字形(Grapheme-to-Phoneme),多音字(Polyphone)消歧、韵律估计等子模块。文本正则化可以将一些书面表达转为口语表达,如1%转为“百分之一”,1kg转为“一千克”等。分词和词性预测是韵律估计(Prosody Prediction)的基础。字形转音形将speech转化成音素s p iy ch。韵律词和韵律短语会在分词和词性信息的基础上生成。
技术图片声学模型
模型:基于前端的发音或语言学信息提取特征,常用的是Mel频谱图。常用模型例如:Tacotron 1/2,Deep Voice 1/2/3, Transformer TTS,FastSpeech, LightTTS
技术图片声码器
声码器:将声学特征转为语音波形,有相位恢复算法Griffin Lim,传统声码器WORLD和STRAIGHT,神经声码器WAVENET,WAVERNN,SAMPLERNN和WAVEGLOW

3. 混合法

拼接法+参数法混合

4. 神经网络

也常称为端到端(end2end),原因是省去了语言学标注文本+模型声码器二合一

Tacotron:只省去了语言学标注,还需要声码器
Wavenet:只省去声码器,还需要语言学标注

5. 声道模拟法

声道-激励源模型。建立声道的物理模型,通过这个物理模型产生波形。可以看作是参数法的一种,物理建模太复杂,理论优美使用门槛高

 

ref

【技术专题】端到端语音合成-从入门到放弃(1)语言学分析?auzxb.tech微软亚洲研究院谭旭:低资源场景下的 TTS 文本到语音的合成?mp.weixin.qq.com技术图片

 

编辑于 2019-11-05

以上是关于theirtts2的主要内容,如果未能解决你的问题,请参考以下文章