流媒体开源服务 MediaSoup 初识

Posted 2022-12-16 Data-Mining

目录

前言

正文

一、简单介绍

二、关键特色

1. 超强 SFU 功能

2. Node.js 模块

3. 客户端 SDK

三、架构组成

1. 关键实例

2. 重要模块

四、发展现状

---

前言

最近收看了一期微软（中国）关于云原生、大数据、AI 领域的开源服务创新的线上圆桌论坛，感觉收获颇丰。众所周知，随着云原生、大数据和 AI 领域的快速发展，各领域之间的技术融合和相互驱动也越来越明显，开源服务无疑是其中最核心的组件。

正文

本次圆桌论坛邀请了三位技术大咖，其中一位是百家云集团流媒体高级研发工程师 ，刘振老师。刘老师是一位优秀的音视频专家，在公司主要负责音视频 QoE 相关的研发工作。他分享中介绍到了一个云原生应用——开源流媒体服务 MediaSoup ，今天主要就给大家科普一下 MediaSoup。

一、简单介绍

Mediasoup 官网对其的定位和评价还是非常高的：Cutting Edge WebRTC Video Conferencing，意思是顶尖的 WebRTC 视频会议产品。

官网地址：https://mediasoup.org/

仓库地址：https://github.com/versatica

 

二、关键特色

1. 超强 SFU 功能

凭借丰富的功能和灵活性，SFU 模式广泛应用在多方会议或者类似场景，正在逐步取代更加消耗资源的 MCU 模式。

2. Node.js 模块

Mediasoup 并不是创建了一个固定的单体服务，而是一个 Node.js 模块，可以集成到更大的应用程序中，也可以独立运行，具备非常灵活的移植能力。

3. 客户端 SDK

Mediasoup 还提供了强大的 JS SDK，通过统一的 API 接口可以在任意浏览器上非常简单的构建出视频会议应用。

三、架构组成

Mediasoup 有一张非常经典的架构图，如下图所示：

 

1. 关键实例

上图涉及了三个关键实例，分别是 Worker、Router、Transport。其中，一个 Worker 代表一个运行在单核 CPU 上并处理 Router 实例的 MediaSoup C++ 子进程；Router 的作用是用于注入、选择和转发通过 Transport 实例创建的媒体流，包括音频流、视频流；Transport 是客户端与 MediaSoup Router 连接的桥梁，并通过在其上创建的 Producer 和 Consumer 实例实现双向媒体传输。

主要包括 4 种 Transport：WebRtcTransport、PlainRtpTransport、PipeTransport、DirectTransport。其中，WebRtcTransport 主要用于浏览器之间的或者浏览器与其他终端进行通讯的，这种传输数据一般是进行加密的，为了保证数据安全，它有很多安全机制，安全机制较为复杂；PlainRtpTransport 用于普通或者自定义的 RTP 数据传输；PipeTransport 用于不同 Worker 的 Router 之间的数据传输；DirectTransport 用于 JS 层与底层 Worker 之间的信令和数据交互。

2. 重要模块

但是，这张图主要描述了媒体数据在服务器侧的流转过程，没有更好体现出 WebRTC C/S 架构的特点，因此，自己更喜欢网上的这张图，它让 PeerConnection 与 Consumer 和 Producer 的关系更加明确。

 在上图中，每个 WebRTC 客户端 Client 都会创建两个 Peerconnection，分别用于发送和接受媒体流，发送 PC 用于发送 LocalStream，其中包含了本地的 VideoTrack 和 AudioTrack，接收 PC 用来接受来自其他 Client 的 RemoteStream。同时，Room 会在流媒体服务器侧为每个 Client 创建一个 Peer，Peer 管理两个 Transport 用于接受 Client 的媒体流和向 Client 发送媒体流。

接下来，介绍一下 Peer 的作用。Peer 为对应的 Client 发送的 VideoTrack 和 AudioTrack 分别创建一个 Producer（一共是2个），Peer 也会为 Client 接收的 VideoTrack 和 AudioTrack 分别创建一个 Consumer（一共是2个）。其中，Producer 将媒体数据发送给每一个订阅者 Consumer，Consumer 表示一个被 MediaSoup Router 转发到客户端的音频流或者视频流。

下面再详细的介绍一下 Consumer，Consumer 根据功能划分可以分为四种，分别是 SimpleConsumer、PipeConsumer、SvcConsumer、SimulcastConsumer。其中，SimpleConsumer 是普通 RTP 数据的消费者，是一种最简单的 Consumer，音视频和视频流的都一样，没有类型区分；PipeConsumer 是不同 Worker 的 Router 之间的数据流转，表示接收或者消费从另外一个 Worker 中的 Router 传过来的数据；SvcConsumer 是处理和消费多层数据，传输时一般分为3层（核心层、拓展层、边缘层）；SimulcastConsumer 是处理大小流的媒体数据。

 

四、发展现状

目前看来，MediaSoup 是一个很有前途的项目。最近几年，使用 MediaSoup 的用户数量正在快速增长，而且 Kurento 技术团队自己也开始使用 MediaSoup 代替自己原来的架构方案，貌似也为我们指明了方向，哈哈，技术方案没有绝对，具体因人而异，因公司而不同。通过对 MediaSoup 的了解，发现其设计巧妙，扩展性强，非常推荐大家把它作为云原生领域的流媒体服务器。

---

作者简介：😄大家好，我是 Data-Mining（liuzhen007），是一名典型的音视频技术爱好者，前后就职于传统广电巨头和音视频互联网公司，具有丰富的音视频直播和点播相关经验，对 WebRTC、FFmpeg 和 Electron 有非常深入的了解。同时也是 CSDN 博客专家（博客之星）、华为云享专家（共创编辑、十佳博主）、51CTO社区编辑、InfoQ 签约作者，欢迎关注我分享更多干货！😄