专题介绍客户端建设及调优实践

Posted 2022-04-19 LiveVideoStack_

”

“音视频+无限可能”是一扇 LiveVideoStackCon面向新兴领域开启的大门，在移动互联网红利消失、内卷的局面下，智能车、制造、金融、医疗、出海等新兴领域还在迫切追寻新技术带来的增值。在“音视频+无限可能”，提前看到新机会、新案例、新实践。

6月24日-25日，LiveVideoStackCon 2022 上海站，和你一同开启通向未来的大门。

客户端建设及调优实践

软/硬编码、解码，超分，各式各样的特效，如何发挥出高端机型的性能的同时，保障中低端机运行流畅，这需要研发、运营和产品团队紧密配合。本专题将讨论在客户端与Web端实现高效研发与高性能多媒体能力实现的经验。

出品人

陈靖

Publisher

小红书

技术中台音视频架构部负责人

曾任职：51Talk首席音视频科学家，在51Talk期间，从0到1搭建音视频算法团队，全面负责51Talk在线教室平台的技术；Google Chrome Media 视频组工程师，在Google期间，参与VP9/WebRTC开源项目的研发；Mindspeed视频部高级DSP工程师；华为中央研发部视频组工程师。出版《深入理解视频编解码技术》及翻译《计算机视觉算法:基于OpenCV的计算机应用开发》。

---

讲师与议题

何必苍

Speaker

RingCentral

视频与媒体研发高级总监  

何必苍，现任RingCentral视频与媒体研发高级总监，杭州研发中心负责人。于2020年加入RingCentral之前，在Cisco任职18年，担任Cisco音视频会议产品的架构师和创新团队负责人，经历了Cisco音视频产品从起步到成熟的全阶段。

Topic

视频会议，WebRTC 及RingCentral解决之道

最近几年视频会议产品得到了极大的关注和快速的发展。产品的用户体验，功能和质量决定了产品能否在竞争中脱颖而出。而如何选择一个好的架构和解决方案是最为关键的因素。

本次分享将分为几大部分：第一部分介绍视频会议产品的历史以现状，以及主要的功能要素。第二部分将介绍基于WebRTC的解决方案以及优缺点，以及主要的挑战。第三部分介绍RingCentrl的视频会议系统的解决方案，以及主要技术优势。

希望通过分享，对于如何打造一款优秀的视频会议产品在架构选择和技术选型上有一定的收获。

内容大纲：

1. 视频会议产品及主流的解决方案

2. 基于WebRTC的解决方案的优缺点以及主要挑战

3. RingCentral视频产品及解决之道

李凯

Speaker

即构科技

视频处理工程师

李凯，即构公司视频处理工程师，从业17年以来，专职于端到端的视频处理技术，迄今署名专利100+篇。

Topic

AI时代的视频云转码移动端化

AI技术的落地是渐渐地从服务器端、云端落地，逐步到移动端及边缘设备上。这些年随着AI技术的进步，轻量级算法模型开始在移动端实时跑起来，并且移动端算法也在不断进行迭代和完善，而对于实时直播场景，也有越来越多的AI算法落地，如：基于人脸的各类娱乐玩法、人体姿态识别、背景替换等。随着算法不断完善、硬件能力的不断提升，基于AI的实时视频增强处理技术也落地于实时直播或视频通话场景，而对于很多涉及隐私的场景，越来越多的用户期望AI技术能够本地化，而不是要经过云端。消耗更多算力的视频云转码，在面对移动端本地化需求时力不从心。

ZEGO即构科技提出了一套极轻量级AI算法模型，结合移动端硬件特性，差异化优化前馈推理库，让算法模型、推理库、硬件成为一体，使得视频云转码移动端化成为可能。

内容大纲：

1. 结合硬件特性的极轻量级算法模型设计规则

2. 视频转码AI算法模型设计规则

3. 结合硬件和算法模型优化的推理库

陆元亘

Speaker

哔哩哔哩

资深开发工程师

陆元亘，B站资深开发工程师，2020年加入B站，专注于使用数据与算法提升用户播放视频的体验，主导构建了bilibili点播QoE模型、质量监测分析框架和播放策略优化算法矩阵，现为B站点播视频的质量负责人。

Topic

基于端智能的播放QoE优化

伴随着B站业务形式的不断扩展，不同场景对视频播放体验的稳定性、流畅性提出了更高的要求。但由于用户诉求的千人千面、网络环境的多变复杂，如何给用户提供更好的播放体验，这给B站的播放能力基础建设提出了更多的挑战。

本次分享将分为三个部分，第一部分介绍B站基于用户评分实验得出的动态QoE模型，该模型对指导业务演进方向有重要意义，第二部分介绍点播视频体验优化中的重点和痛点问题，主要从用户倾向和网络传输两方面展开，第三部分介绍B站利用端智能技术优化播放QoE的实践，怎么在不增加卡顿的情况给用户提供更高清的体验，如何基于端数据快速规避质量劣化的服务器。通过以上三个部分，为大家介绍B站在点播QoE优化上的经验与成果。

内容大纲：

1. 基于用户主观评分的动态QoE模型

2. 点播视频体验优化中的挑战与难点

3. 利用端智能提供极致播放体验之路

周文业

Speaker

美团

音视频研发工程师

周文业，美团音视频研发工程师，视频超分和直播项目负责人。2018年加入美团，专注于探索音视频领域前沿技术，致力于为用户提供优质、高效和稳定的音视频体验。负责大众点评客户端直播能力建设、直播监控体系建设、视频渲染引擎和端上实时超分。

Topic

大众点评客户端视频实时超分实践

视频超分端上部署具有省流、实时等优势。然而，随着分辨率增加算力和存储成本成倍提升，在不依赖硬件平台优化的前提下，如何突破移动端算力限制、保持超分实时性、实现机型高覆盖，并获得明显超分效果是大分辨率视频端上实时超分落地必须面对的难点和挑战。本次分享将从模型优化、工程优化、机型覆盖、帧率保障等方面介绍大众点评端上实时超分能力落地过程中所采用的解决方案和最佳实践。

内容大纲:

1. 模型优化平衡超分效果和推理延迟

2. 超分实时性的极致优化

3. 超分策略提升稳定性和兼容性

4. 实时超分监控设计