专题介绍开源与创新

Posted 2022-04-17 LiveVideoStack_

”

“音视频+无限可能”是一扇 LiveVideoStackCon面向新兴领域开启的大门，在移动互联网红利消失、内卷的局面下，智能车、制造、金融、医疗、出海等新兴领域还在迫切追寻新技术带来的增值。在“音视频+无限可能”，提前看到新机会、新案例、新实践。

5月20日-21日，LiveVideoStackCon 2022 上海站，和你一同开启通向未来的大门。

开源与创新

在广阔的多媒体技术生态中，有大量的开源技术工具、框架和库， 比如被广泛使用的FFmpeg, GStreamer， SRS， WebRTC， X264/X265， VLC等， 这些开源项目奠定了多媒体行业的技术基础， 也为打通行业壁垒、全局优化业务提供了广阔的空间。同时，我们既能看到经典的开源项目的持续演进和优化，也能看到不断迸发的新的开源项目 ，它们很好地和各种创新场景（如物联网， 元宇宙， 云游戏）结合， 使得多媒体行业生机勃发。

出品人

李忠

Publisher

阿里云智能视频云

高级技术专家

李忠，阿里云智能视频云高级技术专家，阿里云视频云实时媒体处理研发负责人。FFmpeg maintainer，FFmpeg技术委员会委员。长期深耕软硬件视频编解码与音视频处理技术，熟悉各种开源多媒体软件（如FFmpeg/Mplayer/Gtreamer/WebRTC）。曾任职Intel开源技术中心，参与linux kernel/libva/libyami等多个开源项目开发，FFmpeg开源社区的国内主要贡献者之一，目前主要负责阿里云视频云端云一体媒体处理性能优化与RTC云端实时媒体服务架构开发。

---

讲师与议题

毕伟

Speaker

网易云信

资深研发工程师  

毕伟，网易云信资深研发工程师。2021年加入云信，多年音视频引擎开发经验，目前主要负责网易云信低延时直播项目。

Topic

基于WebRTC的开源低延时播放器实践

目前各大云厂商推出的低延时直播产品大都基于私有的信令协议和流媒体传输协议，导致各厂商之间无法互联互通，限制了低延时直播的大规模发展。网易云信正在探索标准化的低延时直播方案，推出开源的低延时播放器，开放信令和媒体协议，使得一套低延时播放器SDK就可以对接多家低延时直播厂商，且可以自由定制，旨在推动整个低延时直播行业的发展。

本次分享主要介绍如何基于WebRTC搭建低延时播放器，以及云信在开源的低延时播放器上针对WebRTC做的一些优化，最后展望一下未来在开源低延时播放器上的优化方向。

内容大纲：

1. 如何基于WebRTC搭建低延时播放器

2. 开源低延时播放器优化实践

3. 未来和展望

赵志立

Speaker

腾讯云 

客户端开发工程师

赵志立，腾讯云客户端开发工程师，多年音视频从业经验和开源社区经验，VLC/FFmpeg开发者。目前工作集中在媒体容器格式诊断优化和传输加速。

Topic

VLC 20年，重新审视低延迟直播

Bitmovin 2021年视频开发者报告，低延迟直播被认为是当前行业最大的挑战，而支持低延迟是VLC 4.0的一个重大更新。实现低延迟直播依赖全链路的优化，包括编码采集、上行传输、后台处理、下行分发、播放控制等。在系统介绍全链路所面临的困难、行业解决方案和腾讯视频云的一些优化工作之后，深入分析VLC播放器如何实现低延迟播放。

内容大纲：

1. VLC简介

2. 全链路低延迟直播

3. VideoLan开源社区和VLC常见问题答疑

何俊彦

Speaker

英特尔

加速计算系统与图形部工程师

何俊彦, Intel加速计算系统与图形部工程师，多媒体框架开发主要负责人，Gstreamer maintainer。曾长期任职于Intel开源技术中心，资深开源软件贡献者，在视频编解码，异构计算以及图型渲染等方面有着较深入的研究。参与过Xorg/Mesa/Qemu等项目的开发，开源OpenCL beignet项目的主要贡献者。现主要负责Gstreamer在Intel平台上的开发与优化，是Gstreamer开源社区的国内主要贡献者之一。

Topic

Gstreamer中的视频处理与硬件加速

Gstreamer作为一个比较流行的开源多媒体框架，其优秀的架构使其具有高度的模块化和良好的扩展性，并具有广泛的应用前景。从广义上说，不只是媒体流，Gstreamer可以扩展并处理任何一种数据流。在AI时代，随着例如DeepStream， DLStreamer等AI插件的推出, Gstreamer必将被越来越多的应用于集编解码，AI，渲染等于一体的综合应用场景中。

本次分享将大致分为三个部分，首先将会介绍Gstreamer的框架及特点，然后研究其视频的模块化处理及硬件加速，并讨论一些典型的应用实例，最后分享一些个人的开发经验以及开源社区的开发趋势和热点。

内容大纲：

1. Gstreamer的框架与概览

2. Gstreamer中的视频处理与硬件加速以及其应用实例

3. Gstreamer的开发与趋势

王晓伟

Speaker

英伟达

GPU计算专家

王晓伟，任职于英伟达GPU计算专家团队，现负责GPU计算加速和硬件视频转码，长期支持业界头部厂商在GPU上进行转码和计算的开发及优化，对GPU并行计算和CUDA编程开发有较多经验。

Topic

FFmpeg AI推理+图形渲染的可定制GPU管线

AI推理和图形一体的转码流程在数据中心中受到越来越多的关注，业界也已经部署了诸如虚拟主播和云端特效的应用。目前业界采用的方案多会将图形渲染和AI推理及转码分离，一个任务需要多个团队的多个管线完成。除推理和图形外，许多传统图像处理也缺乏面向转码的GPU方案。

FFmpeg作为业界广泛使用的转码平台，提供了丰富高效的视频处理能力，本次分享会介绍如何在FFmpeg中开发一个包含AI推理+图形的完整GPU转码管线，结合具体项目实例向大家介绍开发经验，并讨论如何分析性能测试数据。

内容大纲:

1. AI推理和图形一体的GPU转码架构设计；

2. FFmpeg中的GPU视频处理与GPU filter开发；

3. 推理+图形GPU转码管线的开发经验分享