英伟达用AI给自家纪录片配音,情绪节奏稳稳拿捏,不说根本听不出来

Posted QbitAl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了英伟达用AI给自家纪录片配音,情绪节奏稳稳拿捏,不说根本听不出来相关的知识,希望对你有一定的参考价值。

鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

先来听一小段音乐:

你能听出,这其实是AI唱的吗?

虽然日常和你对话的siri声音机械,还常常胡乱断句,但实际上,最新的技术进展显示,AI的语音合成能力已经可以说得上是以假乱真

比如英伟达,最近就发布了一个更懂节奏、更具感情的语音合成AI。

在英伟达的纪录片中,她是这样自我介绍的:

口齿清晰自不必说,这气息顿挫、情绪把控,播音员范儿够正不?

帧级控制合成语音

英伟达将在9月3日的语音技术顶会Interspeech 2021上展示该项目的最新成果。

不过,其背后的技术,此前就已经帮助自家数字人在SIGGRAPH Real-Time Live上摘下了最佳展示奖。

核心是名为RAD-TTS的语音合成方法。

这是一个并行的端到端TTS模型。与此前的并行方法不同,RAD-TTS将语音节奏作为一个单独的生成分布来建模。如此,在推理过程中,语音的持续时间就能被更好地控制。

从RAD-TTS的演示界面中也可以看出,用户可以在帧级别上控制合成语音的音调、持续时间和节奏力度。

研究人员还介绍,RAD-TTS既可以将任意文本转换成说话人的声音,也可以将一个说话人的声音(甚至是歌声)转换成另一个人的声音,就像这样:

也就是说,合成语音的制作人可以像指导配音演员一样去“指导”AI,让它学会哪个单词应该重点突出、节奏如何把控更符合创作基调等等。

机器语音能有多真实?

其实,不只是英伟达,此前,小冰也发布过超级自然语音技术

把一句人类的语音混进小冰的语音里,你能分辨到底哪一句来自真正的人类吗?

不过,小冰公司CEO李笛此前曾表示,AI的声音太接近真人,就很有可能被滥用。因此小冰禁止为普通个人训练声音。

但这样的技术,也正在通过电台、便利店等更多商业场景,走进人们的日常生活。

参考链接:
[1]论文地址:https://openreview.net/forum?id=0NQwnnwAORi
[2]https://blogs.nvidia.com/blog/2021/08/31/conversational-ai-research-speech-synthesis-interspeech/

以上是关于英伟达用AI给自家纪录片配音,情绪节奏稳稳拿捏,不说根本听不出来的主要内容,如果未能解决你的问题,请参考以下文章

英伟达让AI“演技”再上台阶:仅靠语音驱动1张照片说话,惊讶恐惧表情狠狠拿捏...

英伟达用AI设计GPU:最新H100已经用上,比传统EDA减少25%芯片面积

英伟达用傅里叶模型实现前所未有天气预报准确率

40张图+万字,从9个数据类型帮你稳稳的拿捏Redis 数据结构

40张图+万字,从9个数据类型帮你稳稳的拿捏Redis数据结构

苹果英伟达展开竞赛 800亿个晶体管“最强”GPU芯片来了-