视频监控/存储系统设计要点

Posted 2020-09-29 Jason Kwok

视频监控系统包括以下组成部分：
编号
模块名称
功能及备注
1
设备代理
系统与前端设备进行通信
2
报警
接收/存储报警信息(外部报警)
3
流媒体
转发视频流，因为设备并发连接有限，通常配备多个网卡
4
设备接入
前端设备接入系统，一般通过onvif，rtsp或SDK，电力系统有自己的协议
5
存储
下文将重点描述
6
联动
包括策略定义域执行
7
Web
跨平台可采用QtWebkit或mjpeg方式
8
电子地图
一般支持矢量图，在地图上叠加视频，支持多画面
9
级联
多级系统级联
10
控制服务
云台控制和权限管理
11
预览
客户端
12
校时
统一设置设备时间
 
存储的设计宗旨：即存的下、找得到。做到以下两点即为合格的存储：录像不丢失，快速找得到。
 
存储的发展过程：
名称或组成
位置
结构描述
PC式DVR
前端
在PC上使用板卡接收视频流，存入本地硬盘
嵌入式DVR
前端
使用专用设备接收视频流，存入本地硬盘
存储服务器+IPSAN
后端
集中存储，1+n模式，服务器收流后再发给IPSAN存储
管理机+存储主机
后端
集中分布式存储，1+n模式，存储主机收流存储在IPSAN上，管理机负责分配和统一查询
 
存储的过程：设备接入收流à流媒体分发à写入磁盘à录像查询
 
存储设计特点：写多读少，易产生磁盘碎片。据经验，磁盘循环覆盖3轮，读写效率降低80%。
防止磁盘产生大量碎片的方法：
1.      预分配空间：在磁盘中预先分配存储空间，并在空间中写满“垃圾数据”，人为使其成为连续空间。（可以通过“新磁盘初始化”过程实现；或在后台运行一个低优先级的线程，在空闲时进行预分配，分配完成后线程退出。）
2.      循环利用文件：不删除老文件，而是将老文件标记为“无效”。磁盘写满后寻找“无效文件”，重新写入。
 
存储视频格式：
可以使用原始格式（前端取来不加转换）或者统一格式（转换）。一般建议使用统一格式，以便于其它相关模块的开发，提升低耦合性和通用型。注意此处转换不是指转码。通常使用PS封装的H264流。（PS封装中包含了时间信息）
 
注意事项：
使用Intel i7处理器和NVIDIA独立显卡的PC客户端，在播放16路1080P视屏时会出现严重卡顿。通常解决方案是当显示路数少时，提升分辨率和码率；当显示路数多时，适当降低分辨率和码率。
 
关于拉模式和推模式：
通常建议使用拉模式，即获取视频流这一操作由后端（客户端或者存储主机发起）。这样方便平台系统的模块化，也降低了对前端设备的要求。
 
存储模式：
管理机上有一个全局统一的数据库存放录像的索引，包括I帧时间戳，事件时标等。
每台存储主机上有一个小数据库，记录本地存放了哪些录像文件，每个文件对应哪台前端设备的哪段时间，哪些文件已被标记“无效”哪个是当前正在使用的文件等。
存储主机运行时需向管理机上报运行状态。
 
分配存储资源：
支持在界面上指定，由管理机分配哪个IPC存到那个存储主机上。
存储主机启动时向管理机上报资源，管理机根据资源可以自动分配哪些摄像机存到哪台存储主机上。
 
录像检索：
查询时向管理机查询，管理机将具体查询的数据定位到某一台存储主机上。即用户不需要关心录像文件存储在哪一台存储主机中。
录像查询方式：
1.      按照摄像机-时间段来检索：最基本的检索方式。
2.      按照摄像机-事件标签来检索：（准智能检索）需要检测并存储SmartIPC产生的事件标签，检索时可根据事件标签进行。（也支持人工添加自定义标签）
3.      按照摄像机-内容检索：即在需要检索时再调用分析模块，在分析服务器上设定分析参数，预先把录像过滤一遍，产生片段后再提交给用户。（这提供了一种视频分析的应用新思路！）
 
容灾和异常处理：
目标是在异常情况下保证录像的完整性。包括3点：即切换、冗余、恢复。
1.      存储主机可以分为值班机和备用机，可以设置成N+1的形式，当某个值班机宕机时，由管理机发现，并用备用机顶上。
2.      同一台存储主机中的多块硬盘可以设置成N+1的冗余形式，当某个硬盘损坏时，用备用盘顶上。
3.      设备宕机后已存储数据的恢复，最简单的方式是使用多副本存储。
4.      要考虑某些关键录像不可被覆盖，可以采用数据库加锁的形式，或者将关键录像迁移到某一独立的存储主机上。
5.      故障恢复后的处理：已升至值班状态的原备机维持值班状态。从故障中恢复的原主机作为备机使用。
6.      当发现有IPC、磁盘、存储主机故障时，需要提醒工作人员处理。
 
旧系统升级需考虑原有NVR、DVR、外接存储介质（如SD卡、外接硬盘）的IPC，在现有存储体系中的地位，纳入还是不纳入。
 
其它：
存储策略：可以根据用户需求（或向用户提建议），在存储时降低帧率。某些画面相对静止和光线暗淡的摄像机可采用更低的帧率。
通常情况下，在不考虑主码流子码流的情况下，存储帧率和预览帧率是统一的。
存储的数据文件大小不宜过大，经验采用128MB。
网络利用率：经验中，网络利用率超过50%，画面会出现明显问题。
录像文件的平滑切换：将录像文件预读到流媒体中来处理（自己做个实验试试）。
在大规模分布式存储系统中，可将存储主机与设备部署在同一个局域网中，将管理机部署在主站端，以此解决存储对网络带宽的利用问题。