无人机低延时HTML5直播应用解决方案

Posted 2023-02-15 zhiboshequ

第1章 方案简介

1.1 行业需求

在野外进行抢险救灾、消防救火、移动执法、电力巡检、光伏巡检、环境监测等应用场景中，无人机的使用极大地提升了工作效率。当遇到一些重大突发事件时，可以派出无人机到事件现场实时进行画面回传，传回的画面可以在B/S架构的三维可视化平台中进行实况展示，提供给指挥中心进行科学研判和决断；同时可以通过互联网进行实况直播，提供给各种终端（PC、android、ios）通过html5浏览器访问，无需安装任何播放控件。要求视频端到端延时在500ms以内，从而满足应急通信和实况直播的需求。

1.2 解决方案简介

我公司作为一家专业的音视频和流媒体技术开发商，深刻理解行业用户的应用需求，因此我们在自身多年的技术研发基础上，历时3年多时间开发了一套低延时、多终端兼容的HTML5统一视频接入解决方案，该方案自从2020年末投放市场以来，因其优异的性能、良好的用户体验而得到了行业合作伙伴和终端用户的极大认可，这是一项行业内重要的科技创新，为终端用户与合作伙伴带来了实实在在的价值。
该方案的主要特色如下：

1. 完全兼容HTML5技术标准，方便各种第三方应用系统集成。包括三维可视化平台、GIS地理信息系统、应急通信指挥系统、领导驾驶舱系统、地图导航系统、数字孪生系统、远程无人驾驶系统、机器人远程操控系统、交互式直播系统等。
2. 端到端延时行业内最低，在公共互联网环境下端到端延时小于500ms，专用网或局域网环境下端到端延时小于300ms。
3. 多终端兼容。支持PC端、Android移动端、iOS端通过浏览器直接访问，也支持在微信公众号和微信小程序中直接访问，无需安装任何控件。
4. 兼容各种主流前端设备，包括无人机摄像头、机器人摄像头、安防监控摄像头、广播级摄像机、智能手机终端等。
5. 方案成熟稳定，已经在多个行业得到了广泛应用，平台的维护成本很低。

第2章 解决方案实现

2.1 方案的技术架构

首先，该方案基于多协议视频转码技术和低延时流媒体直播发布技术来实现，整个方案的架构如下：

2.2 技术实现路径

针对这种应用，我们主要基于三项核心技术来低延时播放和多终端的H5适配工作。

一、 实时转码技术

主要通过4G低延时直播工作站将前端无人机遥控器端输出的HDMI高清信号进行实时转码，从而便于后端各种设备通过H5方式直接收看。整个编码和直播流推送延时不超过100ms。

二、 低延时直播发布技术

通过低延时流媒体服务器实时接收转码服务器推送过来的节目流，然后通过低延时流媒体发布技术缓冲1_{2帧图像数据后（40}80ms）以UDP协议面向多终端发布；

三、 低延时HTML5播放器技术

通过我们开发的符合HTML5标准的低延时播放器，可以在Windows、Linux、Android、iOS等平台端的浏览器上实现视频流的硬件解码和低延时播放，播放器端只缓冲1帧数据，因此解码端的延时在40ms左右，从而确保视频传输的实时性。

2.3 功能模块构成

该方案主要由三部分组成：
1. 无人机画面4G实时回传设备
能够采集遥控器端无线图传设备输出的高清信号，经过采集编码处理后通过4G网络推送给低延时直播服务器。
2. 低延时流媒体服务器平台
用于接收视频转码工作站推送上来的视音频信号，然后将其以流媒体的方式进行发布。
该平台采用通用的硬件服务器+低延时流媒体平台软件来实现，可以为用户有效节省投资。
流媒体内容发布平台可以实现如下功能：
1） 支持上千个网络摄像头的并发接入；
2） 支持PC、智能手机、机顶盒等多终端设备通过浏览器直接播放；
3） 单台服务器支持2000以上用户并发收看；
4） 支持多服务器负载均衡技术和服务器的容灾备份；
5） 支持直播节目的同步录制功能，录制完成后可以自动生成点播内容；
6） 支持服务器的性能和状态监控，包括CPU和内存占用率、实时连接数、网络带宽占用等。
7） 多终端自动适配技术。
针对当前主流的客户端设备，我们开发了终端自适应播放功能，可以自动适配PC端的主流浏览器（Fifrfox、Chrome、Safari），Android端的HTML5浏览器，iOS端的HTML5浏览器，微信小程序等。

流媒体服务端软件功能截图（Windows版）：


3. 内容发布管理系统
无人机拍摄的实时画面通过低延时流媒体方式发布后，还需要将发布后的网络流在内容管理平台中以网页方式进行发布展示，以便于终端用户可以通过浏览器进行访问和收看。

内容发布管理系统

这是控制直播延时的一个关键环节，因为前面诸多环节即使延时控制得很低，在这个环节一旦产生较大的数据缓存，就会严重影响整个系统的效率。因此，在这个终端播放环节我们开发了自主实现的视频播放器，从而有效控制终端的解码延时。
在这里，我们用的的核心技术包括：
1） 超低数据缓存技术
播放器端接收到数据流以后，只缓冲几个关键帧就将音视频数据送给解码器；
2） 实时解码技术
解码器接收到音视频数据后，立刻启动解码功能进行音视频的解码；
3） 多终端适配技术
针对当前主流的客户端设备，我们开发了终端自适应播放插件，可以兼容PC端的主流浏览器（Fifrfox、Chrome、Safari），Android端的HTML5浏览器、iOS端的HTML5浏览器、微信小程序。

第3章 平台的安装和部署

该平台基于模块化的设计思想，在保障平台整体稳定性的同时让用户安装简单，使用方便。

3.1 视频转码工作站的搭建

根据不同的应用场景，视频转码工作站主要分为两种类型：
第一种，基础版（仅支持协议格式转换）；
第二种，专业版（同时支持协议转换和视频编码格式转换）


转码服务器具体操作步骤如下：
第一步：准备IP监控信号源
系统支持IP摄像机、NVR等网络监控设备；
第二步：设备连接
将监控信号源和视频转码工作站连入同一个局域网络；
第三步：配置转码工作站

1. 通过浏览器登录转码服务器，如下图所示：
   
2. 进入“通道设置”，配置各通道的转码信息，如下图所示：
   
   根据项目实际情况，按照上图所示将前端监控信号源配置到转码工作站的各个通道中。
   视频源地址：输入IP摄像机或者NVR的节目流播放地址；
   RTMP推流地址：通过视频监控管理平台，获取流媒体服务器的节目推流地址；
   参数设置好以后，点击页面下方的“设置”按钮即可配置完成。
   
   

3.2 流媒体服务器搭建

将流媒体服务器部署在互联网IDC机房或者单位局域网的中心机房，保障服务器和前端网络监控设备之间的互联互通。
该服务器可以采用通用品牌的服务器，比如DELL、HP、IBM、联想、浪潮等，
也可以租用网络服务器或者云服务器，比如从Amazon、阿里云、腾讯云租用云服务器。
流媒体直播发布服务器配置要求：
CPU: Intel EXON E5-2650
内存：>32GB
硬盘：>1TB
操作系统：CentOS 7.2 x64 以上版本或Windows Server 2016 x64 以上版本
网卡：千兆以太网
应用软件：顺景科技流媒体服务系统Windows版


【备注】：
流媒体服务器软件也有Linux版，没有图形化操控界面。

【流媒体服务器的并发承载规划】
通常，流媒体服务器按照单台支持200路信号源/1000并发用户收看来设计。
主要依据如下：
首先，高清摄像机的主码流分辨率通常为1920x1080，在采用H.264编码格式的情况下平均码率设置在4Mb/s左右。200路高清摄像头所需的总带宽为800Mb/s左右。
考虑到大多数网络的主干带宽为千兆，带宽利用率通常在85%左右，因此千兆网络的实际可用带宽在850Mb/s左右，所以接入在千兆骨干网络上的服务器可以稳定承载200路高清摄像机信号输入。

【多服务器负载均衡】
当需要接入更多前端信号源时，就需要部署多台流媒体服务器来承载，这时候需要采用多服务器的负载均衡技术来实现。
多服务器负载均衡示意图如下：

【流媒体服务系统部署】：
首先下载和安装顺景科技流媒体服务器系统，如下图：

第一步，点击右下角的“联机注册软件”
第二步，在打开的网页中，输入必要的注册信息，点击“开始注册”

第三步，联系技术支持开通测试授权，联系方式，如上图所示。
第四步，许可证获取成功后，刷新许可证书

第五步，配置服务器相关参数，其中主要有以下信息需要注意：

1. 各协议默认的TCP端口号不要被其它应用程序占用，主要有：
   HTTP服务端口：8080
   RTMP服务端口：1935, 8935
   点播服务端口：8088
2. HLS分片文件保存路径确保存在且可访问
   D:\\iAVCastMedias\\hls
3. DASH分片文件保存路径确保存在且可访问
   D:\\iAVCastMedias\\dash
   第六步，启动服务
   

3.3 视频节目的WEB发布

流媒体平台搭建好以后，还需要将监控内容以HTML5方式通过网站发布出去，这样用户端才能通过多种终端进行浏览和收看，这个功能主要依赖“数字新媒体资源管理平台”来实现。如下图所示：
第一步，登录管理后台，打开左侧菜单中的“网络直播管理→管理直播频道”，如下图;

第二步，点击“添加直播频道”，在下方的“播放地址”中将3.4章节获取到的4种节目地址输入，然后提交即可。

第4章 平台的实现效果

4.1 直播延时指标

在专网环境下，端到端的直播延时通常在300ms以内；
在互联网环境下，端到端的直播延时通常在500ms左右；

4.2 支持的终端类型

现有方案可以支持以下设备终端：

4.3 并发性能指标

经过实际测试，我们的低延时直播服务器软件系统的并发性能指标如下：
服务器硬件配置环境：
CPU：Intel E5-2650
内存：16GB
硬盘：120GB固态硬盘
网卡：Intel 千兆网卡x 4端口
服务器操作系统：
CentOS x64 7.6
直播码流：2Mb/s
图像分辨率：1280x720
视频编码格式：H.264
并发性能指标：2000并发直播接收
峰值CPU占用率：42%
平均CPU占用率：35%
平均内存占用率：56%

4.4 多终端播放效果

下面是多种终端上的播放效果：

PC单画面播放页

九宫格播放页
Android手机浏览器端播放

手机微信端播放

iPhone手机浏览器端播放

PC端呈现效果：

手机端呈现效果：

第5章 平台设备清单

根据项目情况，系统集成商可以参考如下设备规格进行方案配置。
以下是所需设备清单:

备注：
1路视频源为1个通道。

第6章 解决方案价值

采用这套业界领先的解决方案，将为系统集成商和用户方带来如下价值：
对于用户方：
1． 极大地提升用户应用体验，在不安装任何浏览器插件的情况下，实现与安装厂商播放器插件同样的低延时播放效果；
2． 支持PC端、Android端、iOS端多个平台无插件播放；
3． 支持各种品牌和型号的无人机设备；
4． 支持私有化部署，方便用户自主运营；
5． 支持国产化运行环境，确保信息和数据安全；
对于系统集成商：
1． 为系统集成商带来独一无二的解决方案，可以通过技术能力实现控标，牢牢把控项目的主动权；
2． 可以进行旧项目升级改造，为集成商创造更多项目机会。
3． 由于技术方案的唯一性，可以最大化保障集成商的项目利润。
4． 可以提供产品OEM服务，保护集成商的利益。

第7章 联系方式

7.1 合作交流