弱网下的极限实时视频通信

Posted 2021-09-24 声网Agora

一、弱网下极限视频通信是什么？

所谓的弱网络环境就是网络不是很好，比如无线 wifi、跨多层网络路由、或者网路负载过大等等情况，这样数据在传输中会发生丢失的情况。

通常意义上，当我们出现网络有拥塞之后，之前会消耗比较长的时间在这个网络里面，通过一个前向校验码 fec，或者是我们通过 arq ，目前还有无数的研究者在做这样 hybrid arq 加上 fec 。但是从视频信号的角度来看的话，需要寻求另外一种方法。就是在你的网络时差的时候，比如说我们所说的入网环境在 50k 以下 5kbps 以下甚至更低，那在这个网络不能有效传输。

二、极限通信的架构设计和优势

优势就是当我们把这些基于经验性的模型推广到类似的一个数据驱动，我们可以把我们的性能相当于是用户的感知，以及视频通讯的感知性能够提升到提升百分之十二到百分之二十左右，其实从 AlphaGo 开始，在编码和传输上就利用了基于强化学习的网络流控，以自适应侦测调节带宽反馈的形式来优化视频，在这其中基于 IP 的分组替换网络在视频传输网络中占据主导地位，使得端到端网络的吞吐量等状态具备很高的时变性，并且在不同的用户之间因为网络资源竞争使得这些网络状态随其动静变得稳定。

听完马老师所讲的端到端的传输流程和引入强化学习的方式，我觉得我们可以综合思考视频编码与网络传输端到端流程，在接收端进行解码播放后，使得其产生新的状态，同时向智能体反馈之后决策的处分。基于此处分信号，智能体以最大化累积处分为指标不断更新神经网络参数。最终，其实可以仅通过观察和学习编码、网络和播放的原始状态，对视频编码参数进行自适应调整，这种方式是一种全新的设计思路。

三、智能视频编码

数据量大的视频，利用压缩式或者编码肯定是有非常大的作用，所以真正的这个视频编码能够让这个数据降低，是因为摩尔定律。摩尔定律的胜利是因为摩尔定律来了。每十八个月，我们叫 silicon ，相当于性能的提升，才能让我们很多在原来不能设计的算法，不能用的一些高级算法能用起来。

图像视频编码技术标准

从这个角度来看的话，那么我们再往下思考它会有一些瓶颈。这个瓶颈来自于 2015 年，大家发现随着我们工艺流程的越来越高级。比如说到了三纳米、五纳米，然后随着这样的一个到目前为止有相对论的说法。

甚至存在就是我们的这个光速的变形。那么电子的速度最多也是得到光速。所以这个情况下到底能做多高？当然我们可以牺牲我们的功耗来实现，但是这样的代价会有的。所以到 2015 的时候，一些世界顶级的科学家就提出，也许这就是一个转折点在这里，我们就需要有新的价格来控制。（大家不太懂的可以去听下视频内容）

举例

四、网络自适应传输

在视频会议中由于 RTP 通道不能为视音频数据提供良好的 Qos 保障，导致视频会议在实际应用中效果受到很大影响，作为一种方式，让网络自己去学习，主要就提出了这样的一个与强化学习结合的一些方法，然后在应该是在 2018 年左右，那个时候我们就主要是面对的一个实时通讯。所以相比较 vod 或者是 live stream 也好，我们会有一些更挑战的，我们叫这个限制也好，或者是那个声音也好，比如说我们没有办法有很大的这样的一个 buffer。用户端的延时一方面要考虑到用户的网络状况，另一方面也要考虑到用户的硬件系统能否支持，一些老旧的机型在进行解码处理时，由于 CPU 被大量占用，很容易发热发烫，导致手机卡顿。

在网络传输中的延时就是在这些过程中慢慢积攒的，美颜需要合成处理的时间、传输需要一定的时间，音视频压缩合成需要一定的时间，视频分发还需要一定的时间等等，在遇到网速和服务器出现问题时，延迟可能会进一步增加。比如在网络直播系统开发中比较常见的“高并发”问题就比较好解释了。（正常情况下，直播平台可以很稳定流畅地为用户提供服务，但一旦遭遇 618、明星直播等特殊情况，流量以平时的百倍、千倍甚至万倍的规模进入，所谓的高并发问题就出现了）；如果在平台的开发过程中，没有考虑到并发量的问题，那么就会造成服务器的崩溃，导致观看失败，影响直播用户的使用体验。

总之，听完马老师的讲解，感觉对极限通信有了更深的了解，学到了许多国内外在音视频传输方面的一些研究进展以及编码等关键技术相关知识，也推荐大家有时间去看看视频。