浅析开源工程WebRTC的技术原理和使用

Posted 2022-06-23 wecloud1314

WebRTC（全称 Web Real-Time Communication），即网页即时通信。 是一个支持网页浏览器进行实时语音对话或视频对话的技术方案。从前端技术开发的视角来看，是一组可调用的API标准。

在WebRTC发布之前，开发实时音视频交互应用的成本是非常昂贵，需要考虑的技术问题很多，如音视频的编解码问题，数据传输问题，延时、丢包、抖动、回音的处理和消除等，如果要兼容浏览器端的实时音视频通信，还需要额外安装插件。

WebRTC的出现、发展和被业内标准组织（如W3C）等普遍认可，对于当下和未来大前端技术发展具有重要的意义。

降低在web端的音视频交互开发门槛：

    1）以往的音视频交互开发对于Web开发者而言具有一定技术门槛；

    2）现在借助于WebRTC，Web开发者通过调用JS接口，可快速的实现音视频交互应用。

避免依赖、插件造成的次生问题：

    1）以往的音视频交互应用构建依赖于各种插件、软件和服务器等；

    2）现在借助于主流浏览器即可形成端到端的音视频交互。

统一化和标准化对传统音视频交互环境差异性的规避：

    1）以往音视频交互需要面对不同的 NAT 、防火墙对媒体 P2P 的建立带来了很大的挑战；

    2）现在WebRTC 中有P2P 打洞的开源项目 libjingle ,支持 STUN，TURN 等协议。

更高效优化的算法、技术对于音视频交互性能的提升：

    1）WebRTC 通过NACK、FEC技术，避免了经过服务端路由中转，减少了延迟和带宽消耗；

    2）还有 TCC + SVC + PACER + JitterBuffer 等技术对于音视频流畅性进行了优化。

3、技术特征

WebRTC内容丰富，主要的技术特征包含以下几点。

1）实时通讯：

WebRTC是一项实时通讯技术，允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点（Peer-to-Peer）的连接，实现视频流和（或）音频流或者其他任意数据的传输。

2）无依赖/插件：

WebRTC包含的这些标准使用户在无需安装任何插件或者第三方的软件的情况下，创建点对点（Peer-to-Peer）的数据分享和电话会议成为可能。

3）协议栈 众多：

WebRTC并不是单一的协议，包含了媒体、加密、传输层等在内的多个协议标准以及一套基于 javascript的 API，它包括了音视频的采集、编解码、网络传输、显示等功能。通过简单易用的 JavaScript API ，在不安装任何插件的情况下，让浏览器拥有了 P2P音视频和数据分享的能力。

同时WebRTC 并不是一个孤立的协议，它拥有灵活的信令，可以便捷的对接现有的SIP 和电话网络的系统。即时通讯聊天软件app开发可以咨询蔚可云。

目前大部分主流浏览器都正常兼容WebRTC：

主流浏览器都支持 WebRTC 标准 API ，因此也让浏览器之间无插件化的音视频互通成为可能， 大大降低了音视频开发的门槛，开发者只需要调用 WebRTC API 即可快速构建出音视频应用。

WebRTC主要面向三类开发者的API设计：

    1）对于Web开发者的API：框架包含了基于JavaScript 、 经过W3C认证了的一套API标准，使得web开发者可以基于这套API开发基于WebRTC的即时通讯应用；

    2）对于浏览器厂商的API：框架同样包含了基于C++的底层WebRTC接口，对于浏览器厂商底层的接入十分友好；

    3）浏览器厂商可自定义的部分：框架中还包含浏览器厂商可自定义的音视频截取等扩展部分。

从上节框架中可以看到，WebRTC主要有音频、视频引擎和传输三部分组成，其中又包含众多的协议和方法等。

1）Voice Engine（音频引擎）：

    a、Voice Engine包含iSAC/iLBC Codec（音频编解码器，前者是针对宽带和超宽带，后者是针对窄带）；

    b、NetEQ for voice（处理网络抖动和语音包丢失）；

    c、Echo Canceler（回声消除器）/ Noise Reduction（噪声抑制）。

2）Video Engine（视频引擎）：

    a、VP8 Codec（视频图像编解码器）；

    b、Video jitter buffer（视频抖动缓冲器，处理视频抖动和视频信息包丢失）；

    c、Image enhancements（图像质量增强）。

3）Transport。

WebRTC主要的技术特征：

    1）SRTP：安全的实时传输协议，用于音视频流传输；

    2）Multiplexing：多路复用；

    3）P2P：STUN+TURN+ICE，用于NAT网络和防火墙穿越；

    4）DTLS：安全传输可能还会用到DTLS（数据报安全传输），用于加密传输和密钥协商；

    5）UDP：整个WebRTC通信是基于UDP的。

WebRTC是基于浏览器端到端的连接（P2P）实现的.

由于不需要服务器中转，所以获取连接对象的网络地址的方式，是借助于ICE、STUN、TURN等辅助内网穿透技术（NAT）得到对应主机的公网网络地址和端口等网络定位信息。

明确网络定位是建立端与端直接通讯的基础。

 信令服务器：网络协商与信息交换

信令服务器的作用是基于双工通信来中转信息。

中转信息包括公网IP映射后的网络定位信息，比如：公网IP、端口和媒体数据流等。

会话描述协议SDP：统一的媒体协商方式

SDP的作用：

    1）不同端/浏览器对于媒体流数据的编码格式各异，如VP8、VP9等，参与会话的各个成员的能力不对等、用户环境与配置不一致等；

    2）WebRTC通讯还需要确定和交换本地和远程音频和视频媒体信息，例如分辨率和编解码器功能。交换媒体配置信息的信令通过使用会话描述协议 (SDP) 交换Offer和Anwser来进行；

    3）SDP的交换一定是先于音视频流交换的。其内容包括会话基本信息、媒体信息描述等。