技术大牛详解利用图像识别和边缘AI计算提升架空输电线路巡检效率附42页PPT下载
Posted 智东西公开课
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了技术大牛详解利用图像识别和边缘AI计算提升架空输电线路巡检效率附42页PPT下载相关的知识，希望对你有一定的参考价值。
出品 | 智东西公开课
讲师 | 刘春阳 视距智能技术总监
导读：
8月13日，视距智能技术总监刘春阳在智东西公开课进行了嵌入式AI合辑第8讲的直播讲解，主题为《如何利用边缘AI计算提升架空输电线路巡检效率》。
在本次讲解中，刘春阳老师从电力巡检的发展现状出发，详细分析了图像识别在架空输电线路巡检中的应用，并对其边缘AI计算平台展开分析。
本文为此次课程主讲环节的图文整理：
大家好，我是视距智能技术总监刘春阳，很高兴在智东西公开课和大家一起分享今天的课题。今天分享的主题为《如何利用边缘AI计算提升架空输电线路巡检效率》，主要分为以下3个部分：
1、电力巡检发展现状
2、图像识别在架空输电线路巡检中的应用
3、面向架空输电线路巡检的边缘AI计算平台详解
电力巡检发展现状
电能是当今社会重要的能源，我国家人口众多、地大物博，各行各业的发展都离不开电能，因此电能的消耗量非常大。据统计到2023年，我国发电量将达到9万亿千瓦时，成为世界第一。
产生的电要通过输电线路进行传输，因此输电线路是电力系统的一个重要保障。我国的输电线路有两个特点，第一个是输电线路总里程非常长，18年时就已达到将近200万公里，网络四通八达，基本覆盖全国的每一个地方。第二个是我国的输电线路电压等级高，对于输电线路来讲，它是根据输电电压划分不同的等级，常见的像110千伏-220千伏等属于高压输电线路， 330~750范围内属于超高压的供电线路，再往上属于特高压的供电线路。由于我国输电电路网络规模大，电压等级高，等级划分可以有力地保证电能的输送。
国家电网出台了一系列的政策，推进电网智能的改造升级，实现从发电、变电、输电、配电一系列的数字化、信息化、自动化、互动化的智能化升级过程。
随着电网规模越来越大，运行特性日趋复杂，给我们的生活用电带来了便利，但同时也对电网的运检维护部门带来的压力。电力巡检是想确保电力系统能够安全稳定的运行，它面临的挑战有以下几个：
1）电力巡检的工作量逐渐增大，架空输电线路的规模里程越来越长，分摊到一线巡检人员身上，每个人身上的工作量增加很多。
2）巡检人员劳动强度很大，很多输电线路是沿着山势去铺设的，所以一线的巡检人员往往在巡检的过程中会翻山越岭，跋山涉水。
3）电力巡检具有一定的危险性，很多是做带电的巡检，甚至是灯塔的巡检。虽然有一些保护设备，但仍然有一定的危险性。
4）技术专业化程度要求高，并不是一般人都能够参与工作。
5）随着人口老龄化，经验丰富的巡检人员逐渐退休减少，巡检人员减少，而巡检的工作量增加，导致了电力巡检的效率以及巡检质量都难以保证。
因此在当今的用电规模情况下，完全依靠人工做巡检和运维，效率和质量都已经难以保证，所以迫切需要引入自动化、智能化的装备来辅助人工，甚至代替人工执行巡检作业，提升巡检的效率，保证巡检的质量。
接下来来看下电力巡检主要巡检哪些内容？根据我们了解，电力巡检可以划分为4部分：变电站巡检，配电室巡检，电力管廊巡检以及输电线路巡检。变电站巡检主要针对变电站等室外环境，对里面的电气设备等进行相应的巡检，包括读取仪器仪表的状态数据，排除安全隐患。目前变电站巡检自动化程度已经比较高，很多巡检机器人厂家都能够提供基于轮式的地面行走巡检机器人，它们可以沿着预先设计好的巡检轨迹，到达需要的巡检点，然后执行巡检作业操作。
配电室巡检的巡检内容主要包括配电室室内的相关仪表读数，相应设备开关的状态以及工作状态。对于配电室的巡检，也可以使用机器人。在很多的解决方案中，有的利用地面巡检机器人，当然更多的是用挂轨的轨道机器人来做巡检。
电力管廊巡检，由于电力管廊都是埋在地下，它里面的状态比较恶劣，所以也是要采用机器人巡检的方式代替人工执行巡检任务。常见的解决方案以挂轨的巡检机器人为主。因此在电力巡检前三个领域里面，基本上都已经实现了自动化，利用地面巡检机器人或者是轨道的挂轨行走机器人，都可以实现电力巡检的自动化。
对于输电线路的巡检，它也是电力巡检里的重头戏，因为输电线路的总里程是最长的，相应涉及到的仪器设备，杆塔等也是数量最多的。那它主要巡什么呢？输电线路的巡检，主要包括三个方面，一个是对输电线路的通道环境进行巡检，通道环境的巡检主要是检查输电线沿线相应的植被、房屋、树木等是否对输电线路构成隐患。一些市区内的场地，像施工的吊车等有没有对输电线路造成安全隐患，这是通道环境巡检。第二个是线路本体的巡检主要是对输电线本身，检查输电线本身有没有相应的烧蚀、断骨、散骨等。第三个是对杆塔以及附属的金具来做巡检。检查塔机有没有缺陷，整个杆塔有没有锈蚀，相应的金具有没有缺失等。
由于输电线路分布广，环境复杂，不同线路等级塔身结构也是千差万别，所以整体来讲架空输电线路的巡检对象以及巡检环境都非常复杂。因此对这种自动化巡检，对于自动化的巡检设备，提出了更高的要求。
那架空输电线路怎么来巡检？常见的架空输电线巡检方案有以下几种：
1）人工巡检，人工巡检主要是通过人工携带一些仪器设备，比如望远镜、红外测试仪，激光的测距仪等等，沿着线路进行巡检，有时还要进行灯塔进行巡检。人工巡检的优势非常的灵活，相应的不足之处就是人工巡检的效率相对比较低，尤其是在北方一些山区和高原地区。
2）有人机巡检，有人机巡检是利用直升飞机携带人员和设备，沿着线路进行巡检。利用直升飞机做巡检，优势在于巡检效率非常高，适合于长距离大面积的巡检作业，不足之处是成本非常高，所以有人机的巡检大多应用在长线路大规模巡检方面。
3）无人机巡检，无人机巡检主要是利用无人机沿着线路进行可见光和红外光图像的采集，帮助人工进行巡检信息的获取。无人机巡检适合于在视距范围内由飞手进行操作，进行相应的巡检。它的优点是非常灵活，可以在不同的角度做相应的观察。不足之处是无人机的里程、续航时间受到电池容量的限制。很多的区域存在着限高或禁飞的特点，所以无人机也不是所有的线路都能够进行巡检，同时无人机还存在着炸机的风险，一旦发生这种炸机情况，有可能对线路本身造成一个损坏。目前利用无人机来巡检，主要是利用无人机来采集相应的图像，后续仍然是依靠人工来观察这些图像，进行分析，判别有没有缺陷。因此无人机巡检的智能化程度还有待提升。
4）机器人巡检，机器人巡检是利用巡检机器人携带相应的传感器，沿着架空输电线路最上面的地线行走。通过传感器采集相应的信息，主要是视频图像，通过红外光还可以进行相应的温度检测，通过采集这些信息，人工或者后台的软件来做相应的分析处理。
机器人巡检相对于无人机巡检来看，它的一大优势是可以内嵌有智能化处理的平台在端侧做推理分析。不足之处是它的成本要比无人机要高很多。
目前在电力巡检的4种方式里，可以看到人工巡检仍然是主流的巡检方式，有人机巡检主要在大面积巡检中占主导地位，发展势头比较强劲的是无人机巡检和机器人巡检，这两种方式作为人工辅助巡检来使用，同时无人机和机器人也是非常容易和人工智能技术相结合的两款设备。所以未来无人机和机器人，尤其是结合了人工智能技术之后，进行智能化的巡检，将是代替人工巡检的一大趋势。
图像识别在架空输电线路巡检中的应用
上图是基于人工智能的电力巡线解决方案，以机器人为例，机器人通过自动上下线装置，移动到架空输电线路最上面的地线，也就是电网系统里的避雷线。机器人上线之后可以沿线路行走，翻越悬针垂、悬垂线夹、防震锤等等装置，并通过携带的可见光、红外光的成像设备采集图像，在线上工作时，可以通过太阳能的充电系统，对机器人进行能量的补充，这样就可以确保机器人长期的在线运行。
相对于无人机续航能力短的特点，机器人可以长期的在线运行，优势非常明显。那采集回来的图像数据，可以通过无线网络传输给地面的控制基站，由操作人员在地面控制基站进行相应的处理分析，也可以通过4G、5G等等移动通讯网络，远程传输到服务器端，由服务器来进行大数据的深入挖掘。
上图的这款架空输电线路巡检机器人，搭载双光吊舱具有可见光和红外光成像的内置是否稳定技术的光电吊舱，它的红外成像可以实现对杆塔金具等输电线路温度的检测。同时机器人内部也可以内置边缘计算平台，进行端侧的推理分析，机器人还可以挂载激光雷达，对输电线路的沿途进行环境扫描、获取输电线路的环境通道信息。
上图是这款机器人的一些性能参数，它的续航时间能够达到8个小时以上，在通视条件下，与地面基站的通讯距离能够达到5公里，同时光电吊舱采用了30倍变焦控制，可以实现既可以看到全局的特征，也可以对局部的信息进行放大，方便后续的智能处理。
采集回来的图像，通过我们的智能盒子可以做端侧的推理，我们的智能盒子对采集回来图像经过一定的预处理后进行相应的目标检测识别。处理的图像也可以通过远程传输至服务器，服务器可以将图像参与到数据集构建当中，丰富我们的数据集。通过训练之后，可以把训练好的模型参数，再通过无线网络返回到端侧，也就是返回到机器人这一侧。机器人可以通过更新它的权重参数，实现神经网络模型的智能化升级。通过这样一个不断迭代的过程，可以提升智能盒子在端侧的识别推理性能。
对于以深度学习为代表的人工智能技术来讲，它的数据是非常重要的。因此通过持续的进行采集，已经积累了将近50G的电力巡检方面的视频图像资料。从这些视频图像资料里，经过清洗处理之后，提取了将近5万余张图片，对里面的绝缘子串、防震锤，不同等级的数量的间隔棒等，都进行了相应的标注。标注了大约有15万个金具样本，构建了自己的数据集。
对于电力巡检进行图像识别来看，一个很重要的方面是构建数据集，构建数据集是要收集相应的缺陷金具的样本。常见的电力金具缺陷主要有保护套异常、导线散股、导线烧伤、地线锈蚀、防震锤掉头、杆塔锈蚀、基础沉陷、间隔棒掉头、绝缘子脱落、销子消失、螺栓松动、悬挂漂浮物等。
要想实现对电力传输线路目标金具的识别以及缺陷诊断，在构建数据集时不仅仅要有正常样本的数据集，还要有缺陷样本的数据集。目前来看，缺陷样本的收集相对来说样本数量还较少，这也是后面需要解决的一个问题。
有了数据之后，对于目标的检测识别，我们采用的是YOLO的经典算法。YOLO算法是一个经典的一阶段目标检测算法，通过将图像划分成若干个网格，每一个网格再去预测若干个边界框，同时对边界框里面的图像进行分类，最后将分类的概率特征图和边界框特征图进行一个重叠，采用非极大值抑制的方法，得到最终预测的结果。YOLO算法在识别速度以及精度上达到了一个平衡，相对于RCNN系列的目标检测算法来讲，它的实时性非常好，但对于小目标的识别，以及靠得非常近的两个物体上进行识别上，还不是特别的理想，因此后续的YOLO算法都是对算法性能上的优化和升级。
18年进入到电力巡检行业时，YOLO算法发布了v3的版本，相对于之前版本最大的特点是在预测时，会输出三个不同尺度的预测结果。当你的输入分辨率提升了之后，对于小目标的预测识别，准确率得到了保证。因此YOLOv3算法在小目标识别上，相比之前的YOLO算法得到了很大的改善。
上图是一个YOLOv3算法的神经网络模型结构，主要以DBL模型，也就是卷积+批处理化+Leaky relu激活函数来构成基础单元，同时引入了残差结构，每隔若干个单元之后就做一个直连叠加，以此消除梯度消失的问题。
在训练时，图像通过这种网格划分之后进行标注和特征图融合，从而建立损失函数来做训练。YOLOv3在电力金具识别上，识别效果还可以，能够对一些金具做识别，相比于人工识别来看，效率提升是非常明显的。但是由于整个的输电线路杆塔结构非常复杂，存在很多小目标，因此 YOLOv3在小目标识别上还有提升的空间。
今年4月份YOLO算法就推出了v4版本，v4版本的骨干网络采用了CSPDarknet结构，在数据增强处理上也采用了很多方法，对整个网络的性能、训练、优化都得到了提升。最终输出仍然是采用三种不同分辨率、不同尺度的预测。YOLOv4在电力金具识别上也进行了测试，发现它对一些小目标，像4分列的间隔棒等，识别效果是非常好的。
6月份又推出了v5版本， v5版本和v4版本在网络结构上差异不是特别大，因此在性能上也比较接近。但v5的版本的训练速度提升非常明显，收敛的非常快，而且从训练的模型来看，它的模型参数也是非常小，因此在电力巡检智能化的目标检测识别上，基于这种YOLO算法来实现目标检测，尤其是v5版本，不仅能够对电力金具做准确的识别，而且对一些小目标也能够覆盖。网络参数规模也降低了将近50%~90%，所以非常适合嵌入式终端的部署，可以大大的提升响应的实时性，加速端侧推理的效果。
面向架空输电线路巡检的边缘AI计算平台详解
近些年随着模型之间竞争加剧，神经网络模型的深度和宽度不断增加，模型的参数也不断的攀升，像最近很火的 GPT-3模型，它的神经网络参数达到了1750亿。网络参数规模的不断扩大，也带动了计算机算力的不断提升。
在嵌入式平台常见的一些方案里面，以英伟达的Jetson为代表，主要通过 GPU来做并行计算。比 GPU在硬件做并行计算加速性能上更好一些的是FPGA，FPGA主要是赛灵思和altera，性能再好一点的像谷歌的TPU，像国内的寒武纪推出的AI芯片等，这种专用的AI芯片，主要是针对一些应用场景做张量并行计算优化，所以它们的性能很高，但是通用性弱一些，从性能上来看，专用芯片性能是最强的。但是从通用性的角度来看， GPU的方案可能要更通用一些，因此在设计的智能盒子时，我们采用了英伟达的Jetson模组来开发了我们的智能盒子计算平台。我们的智能盒子可以搭载于无人机、巡检机器人、无人驾驶车辆上，进行数据的采集处理和传输。
Jetson模组像最新的 Xavier，它有很多外设的接口，同时内置有512核vote架构的GPU。
我们对智能盒子、普通电脑、2080Ti的服务器， 利用YOLO算法对电力金具识别上来做了一个对比测试。从对比结果上，能够很清晰的看到，用于边缘计算推理的智能盒子，在响应速度、实时性上非常的理想，尤其是像YOLOv5版本的算法，它的权重文件很小，响应的实时性得到了充分的保证。
我们的智能盒子除了搭载机器人上，也可以搭载在无人机上。利用无人机携带智能盒子，可以去挂载相应的图像传感器，采集图像进行后续的处理分析。同时也可以搭载激光雷达等设备，对相应的通道环境进行三维重构。上图是利用16线的激光雷达和英伟达Jetson Xavier的智能盒子，来做的三维场景重构。从上面的图片可以看出，智能盒子对激光雷达采集的三维点云进行相应的滤波、拼接处理，然后重构三维场景。从最终的实现效果来看，处理的实时性还不错，相关的算法基本可以满足局部3D场景的实时构建。
如果光学图像是二维图像，那激光雷达扫描得到的实际上是一个三维的场景图像，我们利用深度学习方法，对三维图像进行目标检测与识别。基于KITTI数据集，也进行了相应的应用分析，对数据做滤波处理之后，通过3D目标检测算法，可以将物体进行一个分割，通过包围框把它标记出来。
下一步想把三维的点云目标检测识别算法迁移到电力巡检服务当中，利用激光雷达扫描巡检线路的三维场景，对场景内的物体进行分割识别，同时借助雷达测距的特点，可以对分割出来的物体进行相应的一些个数据的结算。对相应的一些建筑物和异物异物，是否对输电线路造成了安全隐患进行排查。以上是利用嵌入式平台对电力巡检数据进行处理，能够起到加速处理的效果，提高处理的效率，满足应用的实时性。
最后来看下电力巡检面临的挑战，从数据的角度来看，对于电力巡检的数据集，公开的数据集几乎没有，我们自建的数据集也存在着样本不够均衡、故障缺陷样本数量较少的问题，所以如何改善数据集，提高它的均衡性，这是一个需要解决的问题。
从模型的角度来看，现有的模型算法能够对一些电力金具进行识别检测，但对一些小目标，比如杆塔上的螺钉、螺栓等，由于数量很多，在整个图片上显得就体积很小，所以小目标识别能力还有待加强。利用深度学习来做图像识别检测，其实还是人工智能里比较浅层次的应用。如何从深度学习走向深度理解，采集回来图像之后，不仅仅是做分类，要进入后续的诊断和处理决策，完全代替人工去做巡检，这也是模型算法方面要持续去探讨的问题。
在算力上，我们的智能盒子主要是针对1080p、720p的的图像来做处理。随着电网要求的提升，后续的4k甚至8k的图像，用现在的这种硬件方案去做端侧的推理，它的效率可能就要打折扣。那如何提升算力，也是后续需要面对解决的问题。
在电力巡检方面，还有一个很重要的问题是智能巡检设备的安全性和可靠性。由于电网非常重视电力系统的安全性和可靠性，无人机和机器人如果参与巡检，必须保证能够不对电网本身造成任何安全隐患，所以机器人的性能提升也是人工智能技术能够在电力巡检领域应用落地的一大考验。
带给我们挑战的同时，也带给了我们很大的机遇。国家电网出台了很多的政策来推进智能化的电力巡检，我国今年也推出了新基建的发展规划，明确提出了要将人工智能、5G通信以及超高压输电线路作为重点发展的领域，因此智能化的架空输电线路巡检的未来是非常光明的，市场是非常巨大的。在这个市场里面，不管是做传感器，还是边缘计算的硬件平台，或者是人工智能的软件算法，再或者是机器人、无人机的整机的厂商，都能够找到自己的定位，找到自己的技术应用的场景。
相信随着技术的不断创新突破，未来智能化电力巡检的效率和质量将会不断的提升，给我们的生产生活提供最大的保证。今天的课程到这里就结束了，谢谢大家。
以上是关于技术大牛详解利用图像识别和边缘AI计算提升架空输电线路巡检效率附42页PPT下载的主要内容，如果未能解决你的问题，请参考以下文章