阿里云边缘节点ENS助力淘宝构建音视频通信网络

Posted 2021-01-20

摘要： 淘宝的音视频通讯基础团队与阿里云边缘计算技术团队合作，通过边缘节点收流、合流、构建低延时音视频通信链路，完美地解决由于地域分布广泛、网络质量不稳定带来的体验问题和延时问题。

前言
淘宝在2016年推出直播平台，和娱乐直播性质不同，电商直播的主角多为网红店铺及网红达人，以直播带动产品售卖。在淘宝的双11流量加持之下，淘宝直播平台关注度持续攀升，通常的网红店主一场直播带来的收益不亚于一场大型促销。

直播的观看体验和互动效果，会直接影响到店主的收益，这也是淘宝直播技术小二非常关心的技术指标。在上线之初，淘宝直播采用中心式架构，业务集中部署位于一线城市的云中心。随着业务发展，在线主播量大、地区分布广泛、网络质量参差不齐、链路复杂等情况带来的问题不断涌现。首次推流不成功、推流中断、推流质量不稳定、连麦卡顿与高延时、观看端播放卡顿，是技术小二们亟待解决的问题。

本次双11，淘宝直播基于淘宝技术部基础平台音视频通讯基础团队提供的ARTC解决方案，采用阿里云边缘节点服务（ENS），用中心-边缘-终端的新架构，升级替代了传统中心-终端架构，解决上述问题。淘宝的音视频通讯基础团队与阿里云边缘计算技术团队合作，通过边缘节点收流、合流、构建低延时音视频通信链路，完美地解决由于地域分布广泛、网络质量不稳定带来的体验问题和延时问题。

技术架构及优化
升级后的淘宝直播技术架构如下图所示，其中红色框内的模块部署在边缘节点服务ENS之上。

淘宝直播基于ENS重点优化两个问题：

1. 网络链路
   基于ENS提供的全国各地区、运营商以及海外的边缘覆盖能力，在距离主播或粉丝最近的网络边缘，智能接入时延和质量等指标最优的节点。节点中部署的音视频流转发模块，快速并稳定地接收主播的推流或者粉丝连麦的数据流，同时基于对覆盖节点间实时网络质量的评估，寻找最优网络链路，转发到直播中心进行处理。

这样的网络链路方案能够有效避免不可预知的网络抖动及网络拥塞，并且具备足够的动态能力，大大提升主播推流的稳定性，降低网络延时，尤其对主播和粉丝连麦的体验有非常好的保障。目前淘宝直播已经在全端、全场景覆盖了基于边缘计算ENS服务的新架构，包括海外的部署和覆盖能力，为全球淘宝用户提供更高质量的直播服务。

2. 业务逻辑边缘下沉
   淘宝直播还将部分适合在边缘处理的业务逻辑进行了改造和下沉，来获得更好的性价比。

比如将不同主播或粉丝的流推到某个边缘核心节点后，由该节点内的合成推流模块进行多流的合并、打包转发等处理，形成音视频流的多级聚合架构，有效提升了资源利用率，减轻了单点压力，在带宽等成本节省方面也有很好的效果。

把部分中心模块下沉到边缘，是技术架构上的重要演进，是中心架构到分布式架构的变化，能够获得分布式系统的诸多优势，比如提升系统对业务容量的支撑，具备更灵活的弹性能力，加强系统的可用性及可扩展性等。当然分布式架构方案的复杂度也会提升，这对业务团队的开发和运维能力都提出了很高的要求，ENS在DevOps层面也具备了非常丰富的PaaS形态服务能力及配套运维体系，能方便地支撑业务方快速构建边缘业务架构。

业务指标优化

1. 直播卡顿率降低40-60%，端到端的音频时延50ms以内
   采用边缘节点可明显降低业务方端到接入点的时延，平均可优化50ms，带来的优势是对于网络丢包可以做快速补偿。线上数据表明，采用边缘节点后直播卡顿率国内降低40%，海外降低60%。
   音视频通话和视频会议是去中心化应用，通过边缘节点可实现调度的局部收敛。例如天猫精灵的音视频通话的使用者都是亲朋好友，他们大多在同一个城市，这时所有的数据分发都收敛在一个城市内部节点。相比中心化的调度方式，这种调度可将端到端的音频时延最低压制50ms以内。

2. 弹性扩容，1分钟完成资源创建
   依托ENS在全国各地区和运营商的完整覆盖，以及节点丰富的计算和带宽资源能力，能够支撑大型赛事或活动的直播的资源弹性需求。ENS具备应用和镜像下发能力，资源创建可以在1分钟左右完成，极大提升资源扩缩容的效率。

3. 零运维，降低管理成本
   ENS将一些自建设施的问题封装到底层，业务方不可见也不需关心，使业务启动或扩容的资金大大减少，也省去很大的管理成本。

边缘节点服务场景延伸
除淘宝直播外，阿里云ENS还支持了众多的互动直播、在线教育、SD-WAN等行业客户，这些客户有着全网覆盖类场景的共性特点：用户量大、分布广泛、数据量大、体验要求高。他们或是从发展初期就采用边缘·中心架构，或是随业务发展要变更为边缘·中心架构。以某在线教育巨头为例，从2013年开始采用边缘·中心架构，到2018年在全球范围内运行业务的边缘节点已经数以百计。

边缘计算与物流管理、仓储监控、无人售卖管理、电商直播、智能推荐等众多新零售相关场景的深度融合应用，能够助力客户获得技术、体验、成本优势，赢得竞争。

随着双11用户场景的不断升级，需求和业务逻辑越来越复杂，而购物体验的要求却越来越高，对产品技术提出更极致的要求。边缘计算技术作为中心云的能力拓展，将与中心协同支撑更复杂的业务架构。可预见在未来十年，在新零售的大背景下，企业以互联网、物联网、人工智能、边缘计算等众多先进技术手段，将对商品的生产、流通与销售过程进行全面升级、融合与重塑。