论文基于AI边缘计算的铁路行车视频监控智能识别研究

Posted 2023-03-02 宗而研之

本文转载自《科技与创新》2022年第01期

作者：李博， 杨欣

单位：中国铁路武汉局集团有限公司麻城车务段

摘要

随着铁路信息化建设的不断推进，视频监控设备应用到越来越多岗位中，运用智能化手段管理工作人员必将成为一种趋势，为进一步提高指挥中心对行车岗位作业场景视频盯控和安全监控方面效能，在既有摄像头后端加装AI边缘计算设备，识别固定场景下的作业问题，通过对视频数据的采集、分析、建模，自动识别异常情况并报警、提取关键信息分类汇总，可以有效减少安全监控人员的盯控强度，提高安全管理效率和视频盯控的时效性。

关键词

视频监控；深度学习；AI智能识别；自动报警

0 引言

铁路车务站段既有的监控系统均未设置监控报警功能，缺乏对特定场景违章动作的自动判断，指挥中心专人查看视频监控画面判断现场职工违章违纪情况，不仅费时费力，也不能及时发现问题。为提高监控效率，对特定区域场景进行识别分析，根据设定标准判断职工作业情况，并将不规范行为的场景向指挥中心端发出实时告警信息，并在后台记录存档，重点对行车室睡岗、外勤接车与否、咽喉区闲杂人员闯入等场景进行实时监控，并进行AI智能分析，通过视频图像深度处理，自动识别作业情况，对违章违纪的情况向监控中心进行报警并存档，利用事件触发报警传输的机制，能有效提升网络利用率，提升数据的存储效率，管理人员根据实时报警或存档记录进行确认后进行教育考核。

1 研究内容及对象

通过对视频数据的采集、分析、建模，自动识别异常情况、提取关键信息，有效减少管理人员劳动强度，实现实时监控、实时报警、实时处理，提高安全盯控与应急指挥的实时性和时效性，提升网络利用率和数据存储效率。

该系统主要在中国铁路武汉局集团有限公司麻城车务段下属中驿车站的两端咽喉区、行车室、助理接车亭配备固定式摄像头，用于实时监控站区及作业人员(咽喉区非工作人员侵入、外勤助理接车、值班室人员睡岗、离岗)的作业情况并进行研究分析。

2 系统研究方法

2.1技术路线

铁路车站监控视频智能识别技术的研究应用采用边缘计算路线，将AI计算模组放在摄像头一侧，采用网络、计算、存储、应用核心能力一体化，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足铁路行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。

2.2技术优势与对比

边缘计算具有低时延、高带宽、高可靠、海量连接、异构汇聚和本地安全隐私保护等特点。实现监控视频AI化，主要有两种技术路线。一种是云计算的方式，将视频数据汇总到云端进行分析处理；另一种是

边缘计算(AI计算盒)的方式，在设备端处理好视频，提取有用的数据再上传到云端[1]。

边缘计算和云计算路线对比如下：①边缘计算可以实时或更快地进行数据处理和分析，让数据处理更靠近源，相比外部数据中心或者云，可以缩短延迟时间。②在成本预算上可以大大减轻经费预算。企业在本地设备上的数据管理解决方案所花费的成本大大低于云和数据中心网络。③减少网络流量。随着物联网设备数量的增加，数据生成继续以创纪录的速度增长，结果网络带宽变得更加有限，压倒了云，导致更大的数据瓶颈。④提高应用程序效率。通过降低延迟级别，应用程序可以更高效、快速地运行。⑤个性化。通过边缘计算，可以持续学习，根据个人的需求调整模型，带来个性化互动体验。⑥安全和隐私保护。网络边缘数据涉及个人隐私，传统的云计算模式需要将这些隐私数据上传至云计算中心，这将增加泄露用户隐私数据的风险。在边缘计算中，身份认证协议的研究应借鉴现有方案的优势之处，同时结合边缘计算中分布式、移动性等特点，加强统一认证、跨域认证和切换认证技术的研究，以保障用户在不同信任域和异构网络环境下的数据和隐私安全[2]。

2.3系统的技术应用

• 深度学习技术。铁路车站监控视频智能识别系统采用深度学习技术，相对于传统视觉技术而言，能提供更准确的物体识别能力。

• 边缘计算技术。利用TensorRT，利用层间/张量融合与数据精度校准技术，实现了AI计算盒(边缘设备)上的高效运行。

• Websocket技术。应用Websocket技术，实现多路Web端实时视频流直播。免去了安装客户端的烦恼，也免去了不同客户端设备之间不兼容的问题。

• 可视化技术。应用基于ECharts的图表可视化技术，可以统计查看更加直观的报警记录。

3 系统架构

3.1系统结构组成

从物理拓扑上看，系统包括数字网络摄像头、AI计算模组、报警管理服务器、交换机、数字录像机、操作终端等组成部分。

从系统架构上看，分为AI边缘层、业务层和系统层三个层次，如图1所示。

• AI边缘层。负责对视频数据进行采集和智能分析，并向上提供报警事件。

• 业务层。负责存储报警记录、进行事件检索、处理报警工作流、提供对外接口等工作。

• 系统层。负责系统管理、用户管理、终端交互等，提供对服务层的接口。

图1系统架构组成

3.2系统功能模块

3.2.1固定式摄像头算法模块

固定式摄像头算法模块如图2所示。站区(两端岔区视频范围内)如果有非工作人员进入，则定义为人员入侵事件。

算法判断人员进入视频范围，则自动向系统终端报警，提示有闲杂人员进入，同时通过可识别的防护衣和防护帽来区分工作人员和非工作人员，极大减少误报率[3]。

(a)非工作人员入侵报警

(b)工作人员入侵不报警

图2固定式摄像头算法模块

3.2.2立岗接车识别模块

立岗接车识别模块如图3所示。在有车进站的情况下，在接车岗亭未出现接车人员，即定义未立岗接车。

在划定的视频范围内，列车通过画面与视频内是否有人员进行比对。算法可识别行进中的列车以及接车员，可设置要求多长时间提前到岗[4]。

(a)岗亭无人接车报警

(b)岗亭有人接车不报警

图3立岗接车识别模块

3.2.3睡岗及离岗识别模块

睡岗及离岗识别模块如图4所示。在工作期间，工作人员在岗位上静止超过一定时间(系统设定为15min)，即为睡岗事件。算法根据划定的睡岗区域，以及设定的报警门限时间，对睡岗行为进行判断，超过门限时间即报警。

在规定时间内，工作人员离开视频监控范围内，视为离岗事件。算法根据划定的离岗区域，以及设定的报警门限时间，对离岗行为进行判断，超过门限时间即报警。

(a)睡岗识别报警

(b)离岗识别模块

图4睡岗及离岗识别模块

3.3系统管理模块

3.3.1视频轮播

首页视频轮播页面如图5所示，采用H5的方式进行视频呈现，当有报警产生时，直接弹出报警信息，出现报警信息页面。

(a)正常轮播画面

(b)报警弹出画面

图5视频轮播页面

3.3.2报警信息管理

报警信息管理页面如图6所示，包含首警图、报警前后30s视频以及实时视频画面，方便用户进行查看。报警信息管理页面主要是将报警记录以倒序的方式列出来，也可以根据发生时间、关键词等进行查询。用户可对报警记录进行签收和处理操作，可填写报警原因及处理意见，并保存到系统中[5]。

(a)报警信息列表

(b)报警信息处理

图6报警信息管理页面

3.3.3分析统计

分析统计页面如图7所示。其中，板载信息页面负责统计所有AI盒子的信息，包括CPU占用率、CPU温度、内存使用率、存储使用率、NPU使用率、NPU温度等。报警分类统计页面，负责按类别统计所有的报警信息，为安全指导意见提供数据支撑。

(a)板载信息

(b)报警分类统计

图7分析统计页面

3.3.4设备管理

设备管理如图8所示。其中，AI计算盒管理包括编辑AI计算盒的编号、IP、端口号、机构等信息，同时能提供修改和删除等操作。摄像头管理包括摄像头的IP地址配置、报警管理、端口号、编号等信息配置。

（a）AI计算盒列表

（b）AI计算盒编辑

（c）摄像头管理页面

（d）摄像头编辑页面

图8 设备管理页面

4 系统主要指标和创新点

4.1主要技术指标

固定式监控要达到的指标为：检出率100%，准确率大于90%，综合检出时间小于等于2s。

技术指标分为：①建立样本库。针对每个智能检测目标，要求样本规模大于2000个，正样本比例大于50%，标注信息样本比例大于80%。②视频结构化方法技术指标为一级响应等级。系统报警分为三级，由高到低分别为一级、二级、三级，结构化存储相较于传统存储方式，提高至少50倍存储利用率。③关键视频片段提取。对固定式监控，能自动提取事件发生前后30s的关键视频片段。

4.2系统创新点

将深度学习技术应用于铁路行岗视频监控领域，能够识别咽喉区入侵、外勤点接车规范、离岗睡岗等行为规范。针对咽喉区入侵应用场景，实现了根据工作服判别工作人员的识别效果，极大程度上减少了误报。针对外勤点接车规范，实现了同时检测行进中的列车和工作人员，将出现行进中的列车作为触发事件，同时判断规定时间内是否有工作人员到岗，准确有效。

针对离岗睡岗行为规范，重新训练了深度学习模型，实现了从背后检测人员在岗睡岗情况的算法，相较于普通的需要人员正面图像才能识别的算法而言有较大的提升。针对夜间场景，专门训练了深度学习模型，能准确识别夜间摄像头下的黑白目标。

5 结束语

国铁集团2021年度1号文件中提及发挥站段安全生产指挥中心作用，加强作业环节管控，研究应用音视频、大数据技术、人工智能等技防手段，对现场作业行为进行智能识别、实时预警、精准画像、有效管控。此次车务站段监控视频智能识别技术的研究应用，是严抓现场管控和提高铁路安全管理水平的重要创新举措，是构建车务站段智能指挥中枢重要一环，在研究中探索、在应用中总结，进一步推进铁路安全管理向智能管控方向纵深发展。

参考文献

[1]薛磊, 曹旌, 褚海波,等. 变电站工作区域智能识别系统研究[J]. 黑龙江电力, 2019, 41(6):2.

[2]赵羽，杨洁，刘淼，等.面向视频监控基于联邦学习的智能边缘计算技术[J].通信学报,2020,41(10):109-115.

[3]李荣增.基于视频识别的铁路入侵检测研究与实现[D].武汉:武汉理工大学,2016.

[4]吕阿斌.视频分析与边缘计算在天车工作面中的应用[J].电子技术,2020,49(12):34-35.

[5]徐祎.铁路行车安全视频预警关键技术研究[D].北京:北京交通大学,2011.