解密优酷智能生产技术，看 AI 赋能内容数字化

Posted 2021-09-10 阿里云开发者

简介：2021 年，随着社会节奏的加快，用户碎片化消费时间不断增加，当前短视频的消费用户规模已超 7.73 亿人，短视频的市场规模超过 2000 亿元。短视频行业发展迅速，但也存在低质内容泛滥，精品内容稀缺的问题。在 7 月 10 日的 Imagine 阿里云视频云全景创新峰会上，阿里巴巴文娱资深算法专家李静，发表了《视频技术再创新，开启内容数字化浪潮》的主题演讲，从短视频领域的内容生产困境出发，分享 MediaAI 平台的技术能力及应用实践，解密优酷短视频智能生产的技术，以下为演讲内容整理。

优酷如何开启内容数字化浪潮？

既然是优酷，就要从长视频、短视频以及最后分发呈现出来的所有的视频形态说起。优酷的数字化也会从视频的整个生命周期来分析。优酷作为一个长视频网站，从长视频最初的拍摄到制作再到完成，我们有内容评估的数字化系统。

当一个长视频拍摄出来之后，如何利用这种版权内容再进行二次的创作，这就是创作内容的的数字化；接下来我们希望生成一些短视频特效，让用户看起来更好看，更有趣，这是特效的数字化。

最后，在终端上用户拿着手机、平板或者通过电视大屏观看视频的时候如何体验内容数字化的好处？

所以，内容的数字化浪潮要从整个视频的生命周期来讲。

创作要素解构

第一个是内容评估的数字化。在阿里巴巴文娱有一个北斗星的团队，是专注于做长视频的内容评估，它的核心点是希望通过后验的数据去衡量整个视频内容的质量，视频内容或者视频的生产元素。

其中又包括一些外延的东西，例如导演、编剧、演员、剧本等，这些东西是大家平时能听到的，但距离自己又很遥远的东西，这些就是视频内容生产外延的内容。

外延之外还有内延信息，包括呈现出来视频本身它涵盖的一些人物的信息、镜头的语言以及本身人物的性格等。所有的这些信息都是基于我们 NLP 语言（Natural Language Processing）或者 CV（Computer Vision）的能力进行解构。

所以当我们有了外延信息和对于内容的解构之后，我们希望可以通过这些信息去预测用户的心理感受或者对内容的喜好度。

从数据侧获得的先验数据，其中包含了非常直观的收视率、用户的互动状态、评论数，我们希望通过这些数据可以进一步挖掘用户的心理状态、生理状态，以此推动我们核心能力来完成内容的评估。

内容的评估需要应用到 AI 的能力，一个是 AI 评估，一个是 AI 体检。

什么是 AI 评估？

一个视频片段是否好，以前用人来审，需要花费大量的人力。如果用人工审核预测一部电视剧是否是爆款，会非常非常困难。所以在内容评估上我们利用北斗星的系统，从最开始演员、供应商、IP 等级、导演和编剧的信息预估这部电视剧是什么样的水平。

并且，可以对电视剧里的的演员做进一步更深的分析，例如他的粉丝价值，整个口碑等。通过分析我们让平台进一步做辅助性决策，再利用我们的 AI 技术最终评估这部电视剧到底是什么档次。

第二个点是 AI 体检。

当视频片段拍完剪辑好之后，用算法来预测这些片段，哪些是看点，哪些是高潮点，哪些是剧情非常拖沓无聊的点，去寻找用户可能弃剧的风险点，给出一些建设性的意见，帮助剪辑师进行剪辑优化。这是优酷内容评估另外一个应用点。

在长视频之后，就是短视频了。

优酷的《山河令》和《司藤》在放送结束之后，我们如何进一步利用它做二次的短视频创作？

短视频最近几年来非常火，去年短视频消费用户达 7 亿多人，短视频工会和 MCN 数量超过两万家，市场规模超过两千亿，在如此庞大的短视频消费市场下我们面临了一些问题，高质量的短视频非常稀缺，大量的低质的、粗制滥造的短视频充斥在整个市场上。

所以，我们想利用自动化生产的方式代替掉那些质量低劣的短视频，让我们的智能创作达到人创作的水平，这是优酷想要去做的。

所以阿里巴巴文娱研发出了概念级的视频的解构能力去赋能智能创作。这是什么呢？

当每次提到视频解构、CV 能力，大家可能都会自然想到一些标签，对于一个视频场景，里面有人物、物体、运动等，在过去 CV 领域这些是特别客观的标签描述，但进行视频创作的时候，这些东西并不是创作者们非常需要的，创作者们需要的元素或者素材是能够让观众有深切感受的，所以我们重新定义了语义级的标签，才能够赋能智能创作。

视频解构赋能短视频生产

有了基于概念级的标签解构能力之后我们可以进行一系列的编辑。

在短视频中使用浓缩的手段，把这个片段中平淡的剧情或者没有对话的情景切掉，将对话或者有信息含量的片段拼接在一起，最终形成完整的短视频片段。

在综艺的场景，将猫晚易烊千玺的片段进行重新剪辑，做成粉丝向的短视频，可以取得很好的效果。

以上所有的视频制作，都利用了我们过去这一年以来所沉淀下来的 AI 技术，所有的视频都是可以实现自动化的生产。

我们目前整个团队的智能生产技术的产能是一天万条以上，但由于每一条都要经过核审，稍微限制了一下产能。智能生产的质量在人工审核的整体通过率是 90%，远远高于普通人的或者优酷的 UP 主自己创作的视频通过率。

视频浓缩，多风格化剧集快看

现在大家碎片化的消费习惯，长视频的观看率越来愈低，所以我们针对这种情况有不同细度浓缩的手段。

如 5 分钟的短剧，3 分钟看一部电影等。在优酷看剧时，每个剧前面有一个 15 秒的前情提要，这就是我们自动化生产出来的。

同时，因为我们具有风格化的解构能力，所以可以提取不同风格的前情提要，对于女生做甜向的前情提要，对于男生来说可能更喜欢悲壮型的，这些提要都是可以抽取出来的。视频的浓缩就是我们把不同风格的关键剧情择出来，在短时间内让你了解到故事的主线。

另外一种短视频的类型也是现在非常火爆的，那就是解说类的短视频。

我们重新定义了所谓的 Text to Video 的技术，把视频进行解构化，生产视频剧本解说词，两者进行匹配，最后通过剧本生成解说类短视频。

这里的解说词是来自于人工编辑或者现有剧本，视频的解说 tts 能力是由达摩院提供。目前 tts 已经有 10 多种风格，有不同方言，不同的解说风格。

接下来，还有图文转视频，每个热点新闻底下都有配图，我们可以使其直接生成视频，但生成的视频不是 PPT，而是结合 IP 版权图片相对应的视频内容。

娱乐资讯类的视频也是一样，其中的图片可以直接溯源定位找到我们对应的视频版权内容。过于复杂的图片，视频生产才会直接使用图片。

内容呈现：特效让视频更好看

视频的特效，我们会针对于动作、动作的幅度以及主角人物等进行自动化加特效，这里涉及到的 CV 技术包括：动作检测，动作幅度检测，范围检测，明星识别，BGM 等。
琐碎的东西来加特效显示会非常乱，所以我们对于运动幅度还是有一定要求的，达到某个幅度我们再加特效，相对来说观看体验好很多，在 CG 侧我们有自己的大千云端渲染系统，支持不同特效的制作。

综艺特效是目前制作综艺必不可少的环节，然而制作一个特效，非常费时，我们的目标是让 AI 发现、标注和凸显综艺节目的精彩时刻，让 AI 制作快速化，批量化。

目前，我们基于 CG 技术已经研发出 30 余种特效类型，《这！就是街舞》就是我们特效技术一个小小的展示。

CBA 有这么一个子弹时刻，在子弹时刻上我们可以加投篮的热区图，告诉大家这个投篮命中度是多少，可以辅助大家得到更多的信息。

互动上的新玩法，就要讲到端上了，第一个视频横转竖。比如在地铁上非常拥挤的时候大家都是竖着看的，很少有横着看的，基于这样的需求我们也得做把横的视频转为竖的，这里的难点是确定主体，第二是稳定。

我们还有一个技术是自由视角视频，这是国内也是业内第一个在 C 端上，用户可以体验自由视角的产品，在去年的《这！就是街舞》节目上我们已经应用了这个技术。

科技冬奥 冰雪 VR

今年的《这！就是街舞》我们技术还会进一步升级，大家敬请期待。在前段冬奥测试赛上也进行了测试，我们希望用这个技术让用户多角度观看他们想看的体育内容。并且阿里巴巴文娱会不断创新视频技术，为大家带来不一样的视听体验，开启中国视频技术内容数字化浪潮。

---

「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实践技术文章，在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。

原文链接：https://developer.aliyun.com/article/788122?

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。