超低延时监控视频多终端发布解决方案

Posted 2022-11-30 直播社区

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了超低延时监控视频多终端发布解决方案相关的知识，希望对你有一定的参考价值。

超低延时监控视频多终端发布解决方案

第一章应用简介

当前，视频监控应用无处不在，市场上有海康、大华、天地伟业、宇视这些监控厂商的设备已经大范围部署和使用。在专网的监控平台中，这些信号都可以通过厂商自己的平台进行访问，但是，随着移动互联网成为用户的使用习惯后，终端用户需要随时随地在各种不同的终端上进行访问，原有监控厂商的平台要么不能提供对外服务，要么需要安装厂商的APP或者播放插件，严重阻碍了用户的访问需求。

基于这种情况，我们在多年流媒体平台开发的基础上推出了监控直播多终端播放解决方案，该方案实现简单，成本可控，不受监控厂商平台的制约，支持各种视频节目的统一管理和统一发布，支持几乎各大监控厂商的网络摄像头，支持PC、手机通过内置的浏览器直接访问，支持微信等第三方应用程序直接访问，极大地提升用户的使用体验。

同时，该方案在终端支持html5标准，用户可以基于H5浏览器直接收看，兼容PC、android终端、ios终端，兼容微信公众号和微信小程序，方便与各种应用系统进行集成，比如智慧城市、地图导航等，同时可以保证端到端延时低于1秒，在优质的网络环境下可以达到500ms以下的延时。

第二章方案的实现方式

2.1 方案的技术架构

首先，该方案基于H.264的视频编码技术和低延时的流媒体直播技术来实现，整个方案的架构如下：

2.2 功能模块构成

首先，该方案基于H.264的视频编码技术和低延时的流媒体直播技术来实现，整个方案的架构如下：
该方案主要由四部分组成：
1. 前端监控设备
基于用户已有的设备，包括各大监控厂商的网络摄像机，NVR等设备；
2. 视频转码工作站
实现监控视频流的实时转码，转码后的节目直接推送给流媒体内容分发平台。
该工作站根据不同的应用需要，分为不同配置的版本。单台工作站可以同时转码20~100路监控视频。
3. 低延时流媒体内容分发平台
用于接收视频转码工作站推送上来的视音频信号，然后将其以流媒体的方式进行发布。
该平台采用通用的硬件服务器+流媒体平台软件来实现，可以为用户有效节省投资。

流媒体内容发布平台可以实现如下功能：
1）支持上千个网络摄像头的并发接入；
2）支持PC、智能手机、机顶盒等多终端设备通过浏览器直接播放；
3）单台服务器支持2000以上用户并发收看；
4）支持多服务器负载均衡技术和服务器的容灾备份；
5）支持直播节目的同步录制功能，录制完成后可以自动生成点播内容；
6）支持服务器的性能和状态监控，包括CPU和内存占用率、实时连接数、网络带宽占用等。
7）多终端自动适配技术。
针对当前主流的客户端设备，我们开发了终端自适应播放功能，可以自动适配PC端的主流浏览器（Fifrfox、Chrome、Safari），Android端的HTML5浏览器，iOS端的HTML5浏览器，微信小程序等。

流媒体软件功能截图：

4. 终端内容发布
监控节目通过流媒体方式发布后，还需要将发布后的网络流在内容管理平台中以网页方式进行发布，以便于终端用户可以通过浏览器进行访问和收看。
节目的发布方式和效果如下：

这是控制直播延时的一个关键环节，因为前面诸多环节即使延时控制得很低，在这个环节一旦产生较大的数据缓存，就会严重影响整个系统的效率。因此，在这个终端播放环节我们开发了自主实现的视频播放器，从而有效控制终端的解码延时。
在这里，我们用的的核心技术包括：
1）超低数据缓存技术
播放器端接收到数据流以后，只缓冲几个关键帧就将音视频数据送给解码器；
2）实时解码技术
解码器接收到音视频数据后，立刻启动解码功能进行音视频的解码；
3）多终端适配技术
针对当前主流的客户端设备，我们开发了终端自适应播放插件，可以兼容PC端的主流浏览器（Fifrfox、Chrome、Safari），Android端的HTML5浏览器、iOS端的HTML5浏览器、微信小程序。

第三章平台的安装和部署

该平台基于模块化的设计思想，在保障平台整体稳定性的同时让用户安装简单，使用方便。

3.1 视频转码工作站的搭建

第一步：准备IP监控信号源
系统支持IP摄像机、NVR等网络监控设备；
第二步：设备连接
将监控信号源和视频转码工作站连入同一个局域网络；
第三步：配置转码服务器

通过浏览器登录转码服务器，如下图所示：
进入“通道设置”，配置各通道的转码信息，如下图所示：

根据项目实际情况，按照上图所示将前端监控信号源配置到转码工作站的各个通道中。
视频源地址：输入IP摄像机或者NVR的节目流播放地址；
RTMP推流地址：通过视频监控管理平台，获取流媒体服务器的节目推流地址；
参数设置好以后，点击页面下方的“设置”按钮即可配置完成。

流媒体服务器的管理界面如下：

在“性能监控”面板中，我们看到发布者数显示1，说明直播流已经推送到服务器端了。

3.2 流媒体服务器搭建

将流媒体服务器部署在互联网IDC机房或者单位局域网的中心机房，保障服务器和前端网络监控设备之间的互联互通。
该服务器可以采用通用品牌的服务器，比如DELL、HP、IBM、联想、浪潮等，
也可以租用网络服务器或者云服务器，比如从Amazon、阿里云、腾讯云租用云服务器。

流媒体直播发布服务器配置要求：
CPU: Intel EXON E5-2650
内存：>32GB
硬盘：>1TB
操作系统：CentOS 7.2 x64 以上版本或Windows Server 2016 x64 以上版本
网卡：千兆以太网
应用软件：顺景科技流媒体服务系统

【流媒体服务器的并发承载规划】
通常，流媒体服务器按照单台支持200路信号源/1000并发用户收看来设计。

主要依据如下：
首先，高清摄像机的主码流分辨率通常为1920x1080，在采用H.264编码格式的情况下平均码率设置在4Mb/s左右。200路高清摄像头所需的总带宽为800Mb/s左右。
考虑到大多数网络的主干带宽为千兆，带宽利用率通常在85%左右，因此千兆网络的实际可用带宽在850Mb/s左右，所以接入在千兆骨干网络上的服务器可以稳定承载200路高清摄像机信号输入。

【多服务器负载均衡】
当需要接入更多前端信号源时，就需要部署多台流媒体服务器来承载，这时候需要采用多服务器的负载均衡技术来实现。
多服务器负载均衡示意图如下：

【流媒体服务系统部署】：
首先下载和安装顺景科技流媒体服务器系统，如下图：
流媒体服务器下载地址（点此下载）：

第一步，点击右下角的“联机注册软件”
第二步，在打开的网页中，输入必要的注册信息，点击“开始注册”

第三步，联系技术支持开通测试授权

第四步，刷新许可证书

第五步，配置服务器相关参数，其中主要有以下信息需要注意：

各协议默认的TCP端口号不要被其它应用程序占用，主要有：
HTTP服务端口：8080
RTMP服务端口：1935, 8935
点播服务端口：8088
HLS分片文件保存路径确保存在且可访问
D:\\iAVCastMedias\\hls
DASH分片文件保存路径确保存在且可访问
D:\\iAVCastMedias\\dash
第六步，启动服务

3.3 视频节目的WEB发布

流媒体平台搭建好以后，还需要将监控内容以HTML5方式通过网站发布出去，这样用户端才能通过多种终端进行浏览和收看，这个功能主要依赖“数字新媒体资源管理平台”来实现。如下图所示：
第一步，登录管理后台，打开左侧菜单中的“网络直播管理→管理直播频道”，如下图;

第二步，点击“添加直播频道”，在下方的“播放地址”中将3.4章节获取到的4种节目地址输入，然后提交即可。

3.4 终端收看

打开发布后的网站前台，点击节目信息后即可收看，如下图：

手机端收看：
点击PC页面中的“手机看”按钮，即可用手机扫码后收看。

第四章平台的实现效果

4.1 直播延时指标

在专网环境下，端到端的直播延时通常在500ms以内；
在同一个电信运营商的互联网环境下，端到端的直播延时通常在800ms以内；

4.2 支持的终端类型

现有方案可以支持以下设备终端：

4.3 并发性能指标

经过实际测试，我们的低延时直播服务器软件系统的并发性能指标如下：
服务器硬件配置环境：
CPU：Intel E5-2650
内存：16GB
硬盘：120GB固态硬盘
网卡：Intel 千兆网卡x 4端口
服务器操作系统：
CentOS x64 7.4/Windows Server 2016
直播码流：2Mb/s
图像分辨率：1280x720
视频编码格式：H.264 Main Profile
并发性能指标：2000并发直播接收
峰值CPU占用率：42%
平均CPU占用率：35%
平均内存占用率：56%