如何在三维可视化平台中接入实时的安防视频

Posted 2022-11-24 直播社区

关键词：智慧城市、安防视频、RTSP监控视频网页播放、三维可视化、数字孪生

1.1 行业痛点

随着全国范围内智慧化应用的广泛开展（智慧城市、智慧社区、智慧公安、智慧消防、智慧交通、智慧旅游、智慧教育），三维可视化、数字孪生平台作为大数据的集中展示终端也得到了大面积使用。

由于三维可视化和数字孪生平台作为各种大数据的汇聚和展示系统，需要接入各种业务数据，其中包括各种实时的安防视频信号源、应急通信视频源、工业摄像头、抢险救灾时的无人机实时回传视频、智慧矿山的无人驾驶工程机械摄像头、远程指挥时的现场各种实时视频信号、工业生产中的各种机器人视觉画面等。

基于兼容多终端运行环境的需要，三维可视化平台通常采用B/S方式运行，这时候传统的安防视频源【RTSP网络流】无法在浏览器端直接接入，而需要将RTSP网络流转换成html5浏览器兼容的流协议格式后才可以正常播放。

面对这种情况，传统厂商是通过流媒体服务器将RTSP网络流转换成Apple公司发布的HTTP Live Streaming（HLS）协议后来实现多终端浏览器播放，但是，由于HLS协议是一种渐进式分段文件下载协议，不是真正意义上的流媒体协议，所以它天生存在传输延时长的问题，行业内能够实现的最低延时效果通常在3秒左右，但是这个延时指标根本无法满足特定应用场景的实时通信要求。

还有一些厂商，他们面向PC终端将RTSP网络流转换成HTTP-FLV格式的网络流，从而可以实现1~2秒的网络延时，从而进一步提高了PC端的实时性。但是，这仍然无法满足应急通信、远程指挥和实时互动等应用场景的需要。

1.2 解决方案介绍

基于当前存在的行业应用痛点，我公司基于多年来积累的流媒体技术研发能力，历时3年多时间在2020年初研发成功了一套超低延时、符合HTML5标准的统一视频接入解决方案，该方案自2020年末投放市场以来，极大地提升了实时通信体验，在专网环境下将端到端传输延时控制在300ms左右，得到了行业合作伙伴和终端用户的极大认可。作为一项行业内重要的科技创新，该解决方案为终端用户带来了实实在在的价值。

由于该技术与HTML5标准完全兼容，因此可以在PC端（包括Windwos系统、Linux系统、国产化操作系统）、android设备端、ios设备端正常运行，不再需要安装各大监控厂商的浏览器插件，极大地提升了用户体验，可以和各种业务系统完美兼容性（三维可视化系统、数字孪生、GIS系统）。

1.3 技术实现方式

1.3.1 技术架构

该系统的技术实现架构图如下：

 1.3.2 功能模块构成

该平台主要由低延时视频转码工作站和低延时直播发布服务器构成。

低延时视频转码工作站：用来实现前端各个厂商安防摄像头的统一接入，并实现统一的协议与编码格式转换，并以低延时模式推送给低延时直播发布服务器。

低延时直播发布服务器：用来实现各种网络流的低延时转发，面向各种终端设备（PC、iOS设备、Android设备）以HTML5方式进行发布，支持一对多高并发应用。

1.3.3 支持的终端类型

现有方案可以支持以下设备终端：

PC终端	Android终端	iOS终端
操作系统类型： Windows/Linux/MacOS 浏览器类型： Chrome/Firefox/Safari/Edge	浏览器类型： Chrome/Firefox 微信、微信小程序	浏览器类型： Safari 微信、微信小程序

1.3.4 并发性能指标

经过实际测试，我们的低延时直播服务器软件系统的并发性能指标如下：

服务器硬件配置环境：

CPU：Intel E5-2650

内存：16GB

硬盘：120GB固态硬盘

网卡：Intel 千兆网卡x 4端口

服务器操作系统：

CentOS x64 7.6

直播码流：2Mb/s

图像分辨率：1280x720

视频编码格式：H.264

并发性能指标：2000并发直播接收

峰值CPU占用率：42%

平均CPU占用率：35%

平均内存占用率：56%

1.3.5 低延时技术指标

该系统的端到端延时主要出现在以下几个环节：

1. 视频采集和编码延时；

这部分延时出现在摄像头端，延时在20~50ms范围；

2. 视频接入和转码延时；

这部分延时出现在低延时视频转码工作站端，在进行协议转换和视频编码格式转换时产品，延时在10~30ms范围；

3. 直播发布服务延时；

这部分延时出现在低延时直播发布服务器端，该服务器在接收低延时视频转码工作站推送过来的网络流时，需要在本地缓存2~3帧的数据，用于抵抗网络带宽抖动带来的影响，避免画面卡顿。

根据不同的网络流格式，这部分延时在40~100ms范围；

4. 客户端解码播放延时：

客户端HTML5播放器在进行网络流播放时，需要等待把一帧完整的数据接收完成后才能解码输出，而且同样基于抗击网络抖动的影响需要缓存1~2帧的数据，因此这部分延时在20~80ms范围；

      综上所述，整个端到端系统的延迟时间通常在300~500ms范围，与监控厂商的浏览器插件模式基本一致。

1.3.6 应用端呈现效果

三维可视化平台中的实时监控信号接入

三维可视化平台中的实时监控信号接入

​

 三维可视化平台中的实时监控信号接入

Android手机浏览器端播放效果

iPhone手机浏览器端播放效果

​​​​​​1.3.7 在线测试地址入口

超低延时视频直播系统http://www.shunjingtech.com/xmms/

 

PC端测试地址：

播放器接口http://www.shunjingtech.com/xmms/base.html

可以在PC端Chrome、Edge、Firefox播放器中直播播放；

移动端测试地址：

播放器接口http://www.shunjingtech.com/xmms/mobile.html

可以在微信、Android端chrome内核浏览器、iOS端Safari浏览器中直接播放；