精彩系列论文之一国家电网有限公司 冷喜武，陈国平等：智能电网监控运行大数据分析系统数据规范和数据处理
Posted 电力系统自动化
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了精彩系列论文之一国家电网有限公司 冷喜武，陈国平等：智能电网监控运行大数据分析系统数据规范和数据处理相关的知识，希望对你有一定的参考价值。
提示：点击"电力系统自动化"↑关注本刊微信
本文引文信息
冷喜武, 陈国平, 蒋宇, 等. 智能电网监控运行大数据分析系统的数据规范和数据处理 [J]. 电力系统自动化, 2018, 42(19): 169-176. DOI: 10.7500/ AEPS20170920004.
LENG Xiwu, CHEN Guoping, JIANG Yu, et al. Data Specification and Processing in Big-data Analysis System for Monitoring and Operation of Smart Grid [J]. Automation of Electric Power Systems, 2018, 42(19): 169-176. DOI: 10.7500/ AEPS20170920004.
智能电网监控运行大数据分析系统的数据规范和数据处理
DOI: 10.7500/AEPS20170920004
冷喜武，陈国平，蒋宇，张家琪，曹越峰
随着智能电网的快速发展，电网业务数据呈现快速增长态势，数据中蕴含的高价值信息并未得到充分利用，为了推动大数据分析技术在调控机构的落地，2016年国家电网有限公司按照“数据对模型，模型对应用”的技术路线，开展监控大数据系统的建设及应用研究试点工作。在监控大数据系统的调研过程中发现如下问题：①传输规约不一致的问题：接入监控主站的数据量巨大，所用的远动通讯协议众多；②业务数据不一致的问题：缺乏面向全局业务数据的规范标准，存在功能建设和管理颗粒度的不一致问题；③计算效率不高的问题：传统处理方式都是从计算机技术角度去解决计算效率低下的问题，没有从业务应用角度发掘数据计算的巨大潜力。因此，亟需从数据规范、通用服务协议、数据标签、数据集及混合计算技术，提出监控大数据分析系统的整体解决方案，为大数据分析应用起到基础支撑作用。
本文提出的数据规范和数据处理总体框架，如图1所示。
图1 数据规范和数据处理总体框架
本文主要讨论的数据规范及处理，包括规范数据接入和全过程数据处理两部分，其总体框架如图1所示。规范数据接入是对源端的多源多维数据从数据规范与传输上进行规范和标准，主要包括模型命名、设备信息、数据结构的规范；对已经实现规范的多源多维数据，采用通用服务协议实现多个业务系统之间的交互。全过程数据处理是对规范化后数据的计算分析，包括通过数据标签的预处理过程以实现源端数据业务特征提取；定义元数据、生成数据清单和可交付数据集以实现数据的对象化和数据管理；基于批量计算和流式计算的混合计算技术支撑不同应用场景对业务计算的要求。通过规范数据接入和全过程数据处理的实现支撑监控大数据系统的大数据分析。
面对多源、高维、先验、异构的源端数据，规范数据接入技术完成从规范模型命名、规范设备对象、规范数据结构和规范通信传输规约等方面实现数据的标准管理，夯实上层应用的数据基础。
模型命名规范，如图2所示。
图2 模型命名规范化技术
设备模型命名主要分为3个部分：设备类型、电压等级及设备编号，遵循了层次性、准确性、唯一性规则，确保对电网设备的调管关系、厂站、电压等级、间隔等电网结构及管理结构的分层描述，同时，对设备对象的类型、属性等信息进行准确描述，使得电网内所有设备名称具备唯一性。为提高监控大数据系统读取设备模型的效率，本文设计了设备模型速读码，同类设备采用同等长度的英文字符，以提高设备的读取和匹配效率。速读码分别针对设备类型、10 kV及以上电压等级、设备编号设计了完整的简记符号，将三段简记符号连接后得到该设备的速读码。
设备信息规范主要包括电网设备全路径名称规范和物理设备标识规范。电网设备全路径名称规范设计中满足分隔规则、分层规则及唯一性规则，物理设备标识规范确保电网调度物理设备在调度系统中（纵向）和跨专业（横向）的全局唯一，在不影响应用系统正常运行的前提下，采用数据交互共享的编码规则（即ID编码规则），生成电网物理设备对象的唯一标识。
设备对象ID采用“四段式”编码方式，四段分别由数据对象大类编码，数据对象小类编码，组织机构代码和序列号组成，采用字符型存储。
图3 物理设备标识编码示例
在规范模型命名和设备信息的基础上，将电网调度直接使用的电力一次设备、二次设备、电力设备容器以及与调度紧密相关的组织机构、周边环境等内容作为对象，以一张或多张数据库表的方式统一描述，并定义其元数据，进行标准管理，提高数据存储及使用的效率。
变电站静态数据是变电设备在运行过程中，站内自动化系统（子站系统）生成的，没有上送到调度端，就地存储在变电站的各类设备及电网的遥测、遥信信息。针对当前子站与主站的通信方式中多采用101/104协议只能发送状态、采样、控制等数据信息的现状，本文通过电力系统通用服务协议提供了一系列的服务，实现了包括模型、厂站图形、遥信、遥测等各类数据的传输，并实现控制功能，并基于通用服务协议提供的接口召唤变电站静态数据，基于业务需要，对静态数据实现多点、分时段召唤，实现重要数据源的按需采集，为监控大数据分析应用提供数据支撑。
针对源端规范接入监控大数据系统的数据，本文提出从监控数据打业务标签，到基于标签数据的数据集交付、再到数据混合计算模式的全过程数据处理技术体系，强化了数据的业务特征，提高了数据查询和计算的效率，为后续的高级分析应用奠定基础。
考虑监控业务数据的复杂性，本文提出了面向监控信息、设备台账、业务应用的全寿命数据标签技术，监控大数据系统的数据标签是由业务专家和数据管理者对业务模型进行梳理和抽象，是将业务专家的经验与业务模型进行显式表达和固化的过程。监控大数据系统提供了一套基于标签的衍生与组合的逻辑方法，用户通过简单选择，可将已有的标签通过组合生成更高层次的标签。
利用标签技术的扩展性强、检索快、分析快的特点，大幅提高海量遥测、遥信数据的检索及查询速度。以标签中心为基础，建立大数据资源之上的统一逻辑模型，可以在“标签”这种逻辑模型视图上，结合画像分析、规则预警、文本挖掘、个性化推荐、关系网络等多个业务场景的数据服务模块，通过接口的方式实现分析应用的快速搭建。
以台风路径预警及监视功能为例，传统变电站监控系统需要扫描全部变电站、全部用户和处理全部视频流。监控大数据系统通过历史浸水变电站标签、厂站视频事故前后帧标签、重要用户标签等业务特征的标签提取，大幅减少数据计算复杂度。
表1 台风路径预警及监视功能数据处理效率对比
表1是传统数据处理技术和全过程数据处理技术的效率提升对比，可以看出经过打标签后，浸水变电站监侦测范围由3107个下降到25个，重要用户的侦测范围由4400万户下降到1200户，数据检索效率得到显著提升。厂站视频提取，传统业务处理是对故障设备前后1小时的视频处理，按照1秒25帧计算，需要处理90000（25×60×60）帧，在监控大数据系统中，仅提取故障设备前后2帧图像分析，大幅提升了视频文件处理效率。
通过对标签的归集，生成交互数据的元数据，对数据结构进行统一管理，系统自动生成数据源清单，便于对交互数据源进行安全管控。基于数据集的数据交付技术，实现用户以完全透明的方式访问所有的数据源，为监控大数据系统提供灵活的、多角度和全方位的公共数据访问，实现数据即服务的目标，支撑大数据级的数据交互需求。
监控大数据系统不仅要对历史数据进行深入分析和挖掘，还需要面对故障异常下雪崩式数据报送，尤其是面向全网的“全、快、准”实时计算要求，这对传统的计算方式来说是新的挑战。根据监控业务的工作特点，基于大数据批量计算和流式计算的优点，对大数据计算技术进行优化，提出正常情况下定时批量计算增量数据、紧急情况下流式计算的混合式数据计算技术，其处理技术架构如图4所示。
图4 混合式数据计算处理示意图
表2阐述了流式计算、批量计算在不同维度的对比分析。
表2 计算模式对比
本文提出的混合计算方法有效兼具了流式计算的时效性和批量计算的低资源消耗性，能够支撑监控大数据系统在不同场景下的应用需求。
监控大数据系统从2016年7月到2018年4月，经过国调中心在江苏、天津、浙江、四川、辽宁五个省级电网组织开展的试点运行，验证了系统运行稳定可靠。另一方面，系统自2017年12月至2018年4月共发布1130项大数据预警，经核查其中由设备异常引起的960项，已全部完成设备消缺，其余通过加强管理措施完成整改，夯实了电网运行的安全基础。夯实了电网监控运行安全基础。本文提出了包含数据源端规范、通用服务协议、全寿命数据标签、数据集和混合计算模式的技术架构，规范了数据接入，提升了全过程处理效率，支撑了上层四大应用中心的多源、多维、全时间数据需求，推动监控员由“被动的人工经验依赖”向“主动的人工智能辅助” 角色转变，由简单机械的被动监视角色到主动异常发现的分析师角色转变，提高了整体监控运行质效。后期将进一步研究大数据分析系统与调控“云”平台的融合技术，始终坚持以数据源的“宽”采集，多源数据的“快”处理和运行分析的“准”研判为总体思路，持续推动监控大数据系统的优化完善，支撑特高压大电网的安全运行。
冷喜武，硕士，国家电网有限公司教授级高级工程师。主要研究方向：电网运行与控制。
陈国平，博士，国家电网有限公司教授级高级工程师。主要研究方向：电网运行与控制。
点击左下方“阅读原文”查看原文
以上是关于精彩系列论文之一国家电网有限公司 冷喜武，陈国平等：智能电网监控运行大数据分析系统数据规范和数据处理的主要内容，如果未能解决你的问题，请参考以下文章