专题介绍视频内容生产与消费创新（Part2）

Posted 2022-04-04 LiveVideoStack_

”

“音视频+无限可能”是一扇 LiveVideoStackCon面向新兴领域开启的大门，在移动互联网红利消失、内卷的局面下，智能车、制造、金融、医疗、出海等新兴领域还在迫切追寻新技术带来的增值。在“音视频+无限可能”，提前看到新机会、新案例、新实践。

5月20日-21日，LiveVideoStackCon 2022 上海站，和你一同开启通向未来的大门。

视频内容生产与消费创新

音视频技术在整体大环境的影响下，近年来呈现出迅猛的发展趋势，随着更多新概念、新技术的涌现，如元宇宙、虚拟沉浸式、VR/AR等，超高清视频、赛事直播等，未来从生产到消费音视频在哪些新的业务、产品及场景下能够创造更多新的价值是我们迫切需要思考的问题。

出品人

张博力

Publisher

安徽广播电视台

传输工程师

从事电视直播工作十余年，参与过多项大型体育赛事和综艺晚会的直播工作，熟悉视音频传输技术以及外场转播技术。参与的项目先后获得过中国电影电视技术学会科学技术奖二等奖和三等奖、王选新闻科学技术奖二等奖、安徽省广播影视科技创新奖一等奖和二等奖，华东电视技术年会技术进步奖一等奖和二等奖，论文曾获ICTC 2019优秀论文奖。

---

讲师与议题

杨杰

Speaker

芒果TV 

多媒体算法负责人  

杨杰，2019年初加入芒果，参与并主导了芒果TV云原生AI平台、视频内容植入平台、多媒体分析平台等项目的研发落地。ACM multimedia 2021顶会论文作者。目前是芒果TV多媒体算法负责人。

Topic

视频内容编辑技术在芒果TV的创新实践

视频节目内容制作完成后，可能面临不可预知的一些变更，包括内容审核的变化、广告投放的追加等，需要对视频内容进行再次的编辑，包括遮挡相关内容或植入新的内容。编辑的内容要求与原视频在运动、环境融合等方面实现高保真效果，同时对时效性有严苛的要求。这些都需要应用视频内容编辑的技术来应对挑战。

本次分享将分为五个部分，第一分部介绍视频节目内容后期编辑需求产生的具体原因以及时效要求，第二部分介绍技术实践中的难点与挑战，包括具有强烈镜头变焦的未标定相机、极端窄基线运动、高度运动场景等，第三部分介绍核心技术解决方案，包括微运动建模、特征跟踪策略优化、滑窗 BA、基于单应性的初始化等方法，第四部分展示在芒果TV热门综艺中的实际应用效果，第五部分介绍我们在电视剧内容编辑上的创新应用。通过以上五个部分将为大家系统的介绍视频内容编辑技术在芒果TV的创新实践。

内容大纲：

1. 为什么需要对视频内容进行再次编辑-那些热综节目视频后期制作内幕

2. 运动及环境融合的高保真要求-视频内容编辑的难点与挑战

3. 核心技术及业务流程-技术应用及落地实践

4. 芒果TV热门综艺实战效果演示-体验无中生有的乐趣

5. 在电视剧及其他场景的创新应用-技术价值的进一步放大

罗超

Speaker

携程大数据与AI应用研发部

基础AI组算法总监

2016年约克大学博士毕业后加入携程，目前担任携程大数据与AI应用研发部基础AI组算法总监，负责计算机视觉、自然语言处理以及语音处理三个方向的应用研究落地，主要对图片视频挖掘、呼叫中心客服质检、电话机器人等业务线进行技术支持。

Topic

基于图像理解的广告视频自动生成

携程日常对外投放大量的视频营销广告，人工制作视频成本高昂。携程基础AI团队研发了一套从图像理解到视频全自动化算法平台。首先根据图像分类、目标检测、文字检测、图像分割算法理解图像的构成元素，然后自适应地为不同图像元素添加不同的特效，包括更换背景、图像流动、三维重建、特效添加等等生成高质量的视频；同时根据场景内容生成文本，最终将文本通过语音合成播出。

该平台可以支持各种定制化视频生成任务，基本做到覆盖面广、灵活好用，能解决业务中大部分问题；在性能方面，平台可以做实时高效，每天处理百万级别图片。

内容大纲：

1. 深度学习在图像理解、特效生成、三维重建、语音合成等领域的最新进展

2. 从图像理解到视频全自动化生成的技术架构

3. 携程在深度学习高性能计算优化上的经验

何璠

Speaker

Telestream

高级售前技术专家

毕业于清华大学，曾在朗讯和爱立信公司研发部门从事软件开发测试和系统架构工作，09年从电信领域转入多媒体领域至今，先后供职于爱立信多媒体部门和IneoQuest以及telestream，对从直播头端到CDN、从直播到点播，从制作到分发等多个领域均有很深入的研究。曾经负责或参与台湾中华电信/韩国SK Broadband/日本Sky Perfect视频监测项目、俄罗斯莫斯科世界杯/索契冬奥会/东京奥运会远程制作等多个项目。

Topic

奥运制播——更高、更快、更强

疫情时代，我们面临着比以往任何时候都要层出不穷的突发状况，我们的人手随时可能缺少，A计划总是需要有个B计划甚至C计划，而场内观众的缺失使得奥运赛事能否被精彩呈现在全球电视观众面前变得至关重要。

本次分享将大致分为三个部分，首先将介绍如何把复杂的采集转码处理流程简化成“乐高积木块”。主要采用搭建积木块的方式定制自己所学的工作流程，流程定制好以后自动运转，把对人手的依赖降低到最少；其次，在拍摄过程中，摄制HDR的同时生成SDR并几乎同时实现对两者的编辑，提供更为丰富的色彩呈现和暗部细节选择，以能让观众身临其境；最后，将介绍当制作团队未在现场的情况下，是如何远程制作赛事花絮和精彩片段并实时呈现的。

内容大纲：

1. 介绍如何将采集转码处理流程简化，降低人工消耗

2. 介绍在直播赛事设置过程中，如何同时并行处理HDR和SDR画面，为用户带来画面色彩更丰富、沉浸的视频体验

3. 介绍在远程制作过程中，通过现场采集、粗剪、传输过来的赛事视频是如何远程制作赛事花絮和精彩片段并实时呈现的

苑盛成

Speaker

北京灵动音科技有限公司

CTO

苑盛成，北京灵动音科技有限公司 CTO，清华大学工程物理系博士，美国罗格斯大学人工智能专业博士后，阿卡贝拉音乐编曲人。专注于基于人工智能的音乐信息提取模型、生成模型、渲染技术，以及跨学科的音乐理解模型。目前负责公司 AI 音乐模型和音频引擎技术的搭建工作。

Topic

音乐创作引擎实现即时交互体验的探索

随着音乐生产所依赖的设备成本不断降低，音乐消费者与创作者之间的界限正在逐渐消融。我们提出了一种新型音乐创作引擎。借助人工智能和即时演算技术，音乐的创作过程和体验过程得以实现融合：音乐将不再是视觉场景中的静态资源，而成为一种可以对用户即兴创作灵感做出实时响应的可交互元素。这使得更多的音乐消费者有机会体验置身于交互式音乐场景之中的趣味性。

本演讲主要介绍这种新型音乐创作引擎的研究成果和技术实践。

内容大纲:

1. 介绍音乐生产工具的行业背景和当前使用的主流技术

2. 音乐剧本概念配合多级缓冲技术实现音乐创作的即时演算

3. 介绍如何运用人工智能技术降低音乐的学习、理解和创作门槛

4. 实现即兴音乐创作过程中的音画同步

5. 音乐生产工具的未来展望

回顾

点此查看《视频内容生产与消费创新(Part1)》