一、电力设备在线监测的目的及意义
1、项目背景
电力设备在线检测是指在不停电的情况下,对电力设备状况进行连续或周期自动检测监视。运用传感器技术、广域通信技术、信息处理技术
实时感知-->监视预警-->分析诊断-->评估预测
电力设备在线检测是实现电力设备运行检修管理、提升生产运行管理精益化的重要手段,对提升电网智能化水平,实现电力设备状态运行管理具有积极而深远的意义。
例如:海量数据处理平台
变压器油色谱监测,容性设备在线检测,数字化变电站,山火监测,雷电定位系统,覆冰预警系统,SCADA系统。
2.数据特点:
规模巨大:TB->PB 【一个省级电网公司,150+变电站,150TB、day】
数据处理速度:性能瓶颈,实时监控画面刷新周期小于5s
数据类型多样:结构化,半结构化,非结构化
价值密度低:在正常数据占据大多数,希望发现隐匿在里面的价值数据。
3.国家电网公司数据存储和系统架构【现状】
- 过于依赖集中式SAN存储
- 基于SOA的数据集成
- 主要采用“企业级关系型数据库”
- 只存储二次加工的“熟数据”
- 速度慢,静态,关联性强
- OLTP没有用武之处
- 容量,性能,可靠性,扩展性
- 一次性设备绝缘放电电流波形信号
4.先进的技术解决
阿里云、亚马逊、ODPS、HADOOP,SPARK,HBASE,STORM,ZOOKEEPER
5.选择计算场景
流式计算:消息触发,单挑处理,实时计算
在线计算:用户触发,频繁交互,快速响应
离线计算:定时安生,批量处理,实时性差
二、监测数据分析方法介绍
1、局部放电相位分析
局部放电相位分析(phase resolved partial discharge, PRP D) 将多个工频周期内监测所得的局部放电参数(放电次数N、视在放电量Q或放电幅值,及放电所在相位p)折算到一个工频周期内,计算其统计规律性,获取放电谱图,统计放电特征,用于模式识别。
参数提取-->放电谱构造-->统计特征计算-->放电类别识别
2.基本参数n-q-p的获取
以变压器局部放电监测数据为例,使用经典的局部放电相位分析法,计算局部放电波形相位信息n-q-p参数,并在此基础上计算放电谱图。
对于局部放电脉冲,具有以下三个基本参数:
①放电量q;:第i次放电的视在放电量;
②放电相位p;:第i次放电脉冲存在的工频电压相位;
③放电重复率n:单位时间内的放电次数。
由于这三个参数具有很强的统计分散性,需要对若干个工频周期(50个)内的基本参数进行统计处理,以突出基本参数的变化规律,有利于反映局部放电特性,这就需要计算放电谱图。
三、MaxCompute介绍
大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的EB级数据仓库解决方案。
随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(百TB、PB、EB)级别。MaxCompute致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。
由于单台服务器的处理能力有限,海量数据的分析需要分布式的计算模型。分布式的计算模型对数据分析人员要求较高且不易维护。数据分析人员不仅需要了解业务需求,同时还需要熟悉底层分布式计算模型。MaxCompute为您提供完善的数据导入方案以及多种经典的分布式计算模型,您可以不必关心分布式计算和维护细节,便可轻松完成大数据分析。
目前,MaxCompute服务已覆盖全球16个国家和地区,客户遍及金融、互联网、生物医疗、能源、交通、传媒等行业,为全球用户提供海量数据存储和计算服务。MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。此外,MaxCompute、DataWorks以及AnalyticDB代表阿里云入选了Forrester Wave™ Q4 2018云数据仓库报告。
四、电力设备监测数据的MaxCompute表存储
1、MaxCompute字段限制
- 列数量小于1024个
- 支持数据类型不能存储多个【成千上万】采样点的值
2、DDL建表
// 建表
create table if not exists ODPS_PD(Time string, Phase bigint, Value bigint) partitioned by(DeviceID string, Date string);
// 查询
List tables;
// 添加分区
alter table ODPS_PD add if not exists partition (DeviceID= ‘001‘, Date = ‘20200501‘);
// 导入数据
tunnel upload d:.....csv ODPS_PD/DeviceID= ‘001‘, Date = ‘20200501‘;
// 读取数据
read ODPS_PD;
3、并行特征计算,Eclipse和IDEA的MaxCompute插件,即可创建ODPS项目。
- Eclipse Step 01官网导航中找到并下载ODP S for eclipse插件
Step 02将插件解压并复制到问eclipse安装目录下的plug-in子目录下
Step 03启动eclipse
Step 04检查Wizard选项里面是否有ODP S的目录 - IDEA 搜索插件 MaxCompute Studio安装即可。 使用MaxCompute实现监测数据统计特征分析的完整过程,最终让学员可以自己胜任在阿里云上的数据分析任务。实验中用到的数据是变压器局部放电的谱图数据,使用的数据分析工具是MaxCompute提供的MapReduce编程模型,要求使用Java语言编写程序,实现数据分析任务。
4、资源上传程序jar包
// 上传 add jar d:/NQF.jar; // 查询资源 ls resources; // 执行,依赖主类的名称FSDriver,还需要依赖本地的JAR来解析 jar -resources NQF.jar -classpath D:NQF.jar FSDriver 输入表 输出表;
5、放电类型识别
- 阿里云MaxCompute【模式识别算法】【Graph模式识别算法】
- 阿里云机器学习平台 PAI
- Apache Mahout
- Spark的MLlib
- 谷歌的TensorFlow