AI自动生成国风视频海外引关注，百度文心大模型助力AIGC智能创作

Posted 2022-04-11 百度大脑

“风吹仙袂飘飖举，犹似霓裳羽衣舞。”去年河南卫视的春晚舞蹈《唐宫夜宴》和央视虎年春晚舞蹈《只此青绿》都爆火出圈，令无数人梦回大唐。近日，在美国波士顿举办的科技峰会 EmTech Digital 上，也有一支中国风视频受到与会者的瞩目，纷纷感叹中国传统文化的巨大魅力。

更受关注的是，这支名为“虎年春晚上的中国文化”的两分钟技术演示视频，是依托大模型技术由 AI 自动生成的，背后的技术来自百度研究院的智能视频合成平台 VidPress。为了更好地体现“国风”，由 VidPress 自动化制作的视频不但画面生动丰富，还使用中国传统乐器古筝作为背景音乐，并配以自动语音合成的解说进行生动解读。

在 EmTech Digital 科技峰会上，作为现场唯一受邀的中国科技公司，百度美国研发中心副总经理李幸在演讲中详细解读了 VidPress 背后的技术。由百度研究院孵化的 VidPress 是业界首个支撑通用型、大规模生产的智能视频合成平台，用户仅需一键输入新闻图文内容链接，就可以自动化完成视频制作，整套制作流程在数分钟内即可全部完成。

VidPress 原理揭秘

五大步骤实现图文自动转视频

VidPress 的工作原理和剪辑师制作视频的步骤类似：先准备文字脚本，然后收集媒体素材，再将素材处理成视频片段，将脚本配音和视频进行对齐，最后进行编辑和检查。通过 AI 技术，VidPress 可以实现文字分析和摘要、视频内容搜索、素材智能化处理、音视频对齐，以及智能剪辑等5个步骤的自动化。

用户输入图文内容后，例如输入某条新闻事件的链接，平台将利用多个自然语言处理模型对文字内容进行分析。通过文字摘要模型，平台可以自动生成一篇字数符合要求且适合视频呈现的解说词，并通过百度文字转音频服务（TTS）合成解说词语音；通过语义理解模型，平台识别故事中的关键信息，包括主题、段落主旨、核心人物或者机构等。

随后，平台会根据对原文的理解,通过自有视频库和精准搜索能力，智能化聚合最新最适合呈现的内容，以及从同一主题相关新闻里抽取更多的素材及其语义表征，充分保障素材内容的丰富度和相关性。对于收集到的视频素材，平台基于图像识别、视频内容理解等计算机视觉技术进一步解析和理解，自动剪切和精选视频素材。

音视频对齐剪辑是关键的一步。最直接的处理方式是将故事中的每一句话作为一个搜索目标，寻找对应的视频片段并拼接起来，但用户真正关注的是故事中的关键点，技术上称为兴趣锚点（anchor point）。通过 VidPress 特有的时间轴对齐算法，选取出文本中的兴趣锚点，再将媒体片段与兴趣锚点进行相关度打分，将优质媒体片段优先放入时间轴，并结合适当的素材搭配组织，以此保证视频的整体观感和用户兴趣的持续激发。当时间轴生成完毕之后，数据转交给渲染器，从而生成一个完成的视频。

文心大模型助力 VidPress

打开 AIGC 智能创作想象空间

VidPress 使用了大量自然语言处理技术对图文内容进行分析，而这些技术离不开百度文心大模型的支持。

去年12月，百度与鹏城实验室联合发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心（模型版本号：ERNIE 3.0 Titan），模型参数规模达到2600亿，是目前全球最大中文单体模型，致力于解决传统 AI 模型泛化性差、强依赖于昂贵的人工标注数据、落地成本高等应用难题，降低 AI 开发与应用门槛。

鹏城-百度·文心在机器阅读理解、文本分类、语义相似度计算等60多项任务中取得最好效果，并大幅刷新小样本学习任务基准。VidPress 平台的文本摘要和语义分析模型都是基于文心大模型训练的结果。

此外，VidPress 还使用了文心跨模态大模型 ERNIE-ViL。借助飞桨深度学习平台分布式训练领先优势，百度 ERNIE-ViL 首次将场景图（Scene Graph）知识融入多模态预训练，曾在5项多模态任务上刷新世界最好效果。文心跨模态大模型可以对媒体片段与兴趣点进行相关度打分，寻找最契合故事的媒体片段。

在视频素材检索和内容质量提升上，源自百度积累多年的视觉技术，VidPress 以智感超清为基础进行画质提升，以多模态预训练大模型为主实现语义理解。秉持领先且实用的理念，百度视觉技术近年来已获得40余项世界冠军，相关专利位列中国申请量及质量第一，获得行业、政府及国家认可10余次，视觉公有云能力连续多次在 IDC/Forrester 等评选中位居市场第一。

来自 EmTech Digital 科技峰会的主办方麻省理工科技评论的高级 AI 编辑 Will Heaven 评价说“人工智能正变得越来越多模态，语言人工智能和视觉人工智能正在以一种非常酷的方式结合在一起。百度的视频生成系统 VidPress 充分融合了人工智能最具代表性的各个模型，是跨模态 AI 的代表应用。”

目前，AIGC（人工智能内容生产）正成为越来越重要的新型内容生产方式。VidPress 图文转视频作为其中的重要组成部分，未来会更大规模、更好地服务用户，这不仅会提升效率，也会打开更多内容创作的想象空间。