大数据分析和深度学习在电力设备状态评估诊断中的应用

大数据分析和深度学习在电力设备状态评估诊断中的应用诊断中的应用上海交通大学智能输配电研究所上海交通大学智能输配电研究所2017.04研究背景及驱动力关键技术关键技术典型应用典型应用面临的挑战面临的挑战总结与展望研究背景及驱动力根据行业统计，近年来我国环境影响设备和设备自身故障导致电网事故占当年总事故仍然高达67％～85％，居高不下。变压器故障组合开关故障输电线路故障电缆故障研究背景及驱动力如何保障输变电设备的安全运行？关键是及时准确评估定期检修状态检修过去现在关键是及时准确评估和预测设备状态影响设备状态的因素众多现有的评估诊断方法多基于单一或少数状设备状态评估欠准确、故障预测手段匮乏，原因何在？影响设备状态的因素众多，现有的评估诊断方法多基于单或少数状态参量进行分析和判断，分析结果粗放和片面，难以及时发现潜伏性故障；一般采用基于理论分析、计算仿真和试验测试等手段建立的机理和因般采用基于理论分析计算仿真和试验测试等手段建的机理和因果关系模型，然而设备故障机理的复杂性、运行环境的多样性，难以建立严格、完善、精确的评估和预测模型；般采用固定阈值判定方法阈值设定依赖人经验和少量试验难一般采用固定阈值判定方法，阈值设定依赖人工经验和少量试验，难以保证对不同设备的适用性；设备状态信息数据分布于电力系统各部门数据质量参差不齐数据设备状态信息数据分布于电力系统各部门，数据质量参差不齐，数据的有效提取和融合分析的难度较大，设备异常检测和评价效率较低。研究背景及驱动力随着智能电网建设和信息化水平提高,设备状态监测、生产管理运行调度环境气象等大量信息的集成和共享成为必然趋势设备类型和变压器、组合电器、断路器理、运行调度、环境气象等大量信息的集成和共享成为必然趋势。数量多架空线路、电缆……体量大数据来源多、生产管理系统、能量管理系统、状态监测系统、……体量大Volume数据量大电网运行、在线监测、气象环境、……智能变电站、智能巡检技术增长速度快智能变电站、智能巡检技术的广泛应用，年增长率50%-100%以上常规结构化数据与大量非结数据结构多样常规结构化数据与大量非结构化数据（视频图像、红外热像、局部放电图谱……）类型多Variety速度快有时限要求数据不断更新，需及时处理速度快Velocity研究背景及驱动力大数据技术逐步在公共安全、电子商务、电信网络、人工智能等领域获得成功应将大技应输变电设备状态评估等领域获得成功应用，将大数据技术应用于输变电设备状态评估，为突破状态评估的瓶颈带来了全新的解决思路和技术手段。科学研究的第四种范式实验科学谷歌、亚马逊、微软、IBM和实验科学理论科学软Facebook等国际著名企业将大数据列入重点研究计算科学数据分析据列入重点研究发展计划数据分析电信金融智能交通医疗卫生视频监控物联网超算制造国家和电网企业的研究规划国家和电网企业的研究规划2013年中国电机工程学会发布中国电力大数据白皮书；国家科技部组织编制未来5-10年影响智能电网发展的瓶颈技术，列入了大数据的电网分析和状态评估；国网、南网近年来多次立项进行电力大数据基础技术及其应用的研究。设备大数据状态评估部分重要项目序号项目名称项目来源1基于大数据分析的输变电设备状态评估基础国家自然科学基金设备大数据状态评估部分重要项目1基于大数据分析的输变电设备状态评估基础理论与方法国家自然科学基金2电网海量信息处理存储与应用技术研究（子课题设备海量信息分析与评估应用技术）科技部863项目课题：设备海量信息分析与评估应用技术）3大数据分析技术在输变电设备状态评估中的研究与应用科技部863项目4输变电设备运检大数据分析及监控系统应用关键技术研究国网公司总部项目5基于大数据的输变电设备故障研判与检修辅国网公司总部项目5基于大数据的输变电设备故障研判与检修辅助技术研究国网公司总部项目国家电网公司的应用规划国家电网公司的应用规划2015年运检部智能运检十三五规划确立了设备标准化、物联网、大数据、云计算、移动作业五个方向的重点基础支撑技术。智能运检技术体系研究背景及驱动力关键技术关键技术典型应用典型应用面临的挑战面临的挑战总结与展望大数据设备状态评估的内涵内涵利用日渐完善的电力信息化平台收集的大量设备状态信息、电网运行信息和环境气象信息进行融合分析和深度挖掘，从数据本身内在规律分析的角度发掘出有价值的知识（规律、规则或模式），实现个性化的分的角度发出价的识规律规则或模，实现个性的状态评价、设备异常状态的快速检测、状态变化和故障预测。是不是属于大数据？关键是采用更多来源数据和数据分析模型（工具）使评估预测结果更准确，就符合大数据的特征，不必在意数据量GB、TB还是PB。是不是属于大数据？更准确，就符合大数据的特征，不必在意数据量还是不需要建立复杂的物理数学模型就可以从大量数据中获得对设备状态核心优点不需要建立复杂的物理数学模型就可以从大量数据中获得对设备状态评价和故障预测有价值的知识，为设备状态的精细化评价和预测提供全新的解决思路和技术手段。结合物理模型实现多样化、复杂化的全方位分析，揭示设备状态变化的个性化规律，提升输变电设备状态评价、诊断与预测的准确性。基于大数据的输变电设备状态评估总体思路多维度多维度//多视角展示多视角展示基于大数据挖掘分析的设备评估诊断大数据存储与检索大数据存储与检索大数据的清洗大数据的清洗集成集成转换转换大数据的清洗大数据的清洗、集成、集成、转换、转换跨平台多源数据获取跨平台多源数据获取多源异构数据集成和预处理技术从生产管理系统（PMS）、能量管理系统（EMS）、输变电设备在线监测系统、气象信息系统等不同系统中获取相关数据形成设备全景信息库实现电网运气象信息系统等不同系统中获取相关数据，形成设备全景信息库，实现电网运行、在线监测、试验数据、带电检测，气象信息、设备台账等多源信息的展示和融合分析。（具有体量巨大、混杂性、多样性、时空关联等特点）数据源生产管理系统跨平台数据获取/转换数据清洗数据预处理数据转换数据评价数据获取综合展示状态监测系统电网地理平台清洗噪声数据检验数据标记理数数据泛化转换数据评价获取数据获取接展示分析系统电网信息平台能量管理系统气象信息平滑离群点识别规则数据转换数据规范化据质量评价接口数信息设备信息气象信息系统智能巡检系统缺失值填充规则库封装属性构造数据规范数据传输策略信息环境信息……规则库范多源异构数据集成和预处理技术——非结构化数据的规范化转换非结构化数据的规范化转换利用图像处理等方法，将视频图像、红外热像、局部放电图谱、波形图像、试验报告等非结构化数据进行关键特征提取和数字化处理数字化处理，转化为结构化数据，方便实现数据挖掘分析。时设备最热点热点相对发热时间设备名称最热点温度热点位置相对温升发热比例2015.10.22互感器56度A相中部20度5%器部多源异构数据集成和预处理技术输变电设备状态数据的清洗设备状态数据流设备状态数据流——输变电设备状态数据的清洗剔除离群点满足状态满足状态填充关键缺失值评估要求评估要求的数据集的数据集识别和平滑噪声数据140加入噪声和缺失值的序列80原始数据和最终拟合结果原始数据最终拟合数据填充关键缺失值6080100120数值加入噪声和缺失值的序列初始拟合结果初始拟合误差KNN检测的异常点020406080100120140160180204060观测时刻T数值4最终拟合残差序列020406080100120140160180-2002040时间020406080100120140160180-4-2024观测时刻T拟合残差数值修复噪声点和缺失时间观测时刻T点和缺失值将低质量、局部缺损的数据处理为满足挖掘分析需要的数据大数据分布式存储和快速检索技术大数据存储处理技术：存储:分布式文件存储、分布式NoSQL列存储数据库、可扩展数据仓库存储分布式文件存储、分布式Q列存储数据库、可扩展数据仓库计算：映射规约计算、内存计算Spark、即席查询Impala处理：实时/流处理算Storm、离线/批处理Map-reduce（设备状态诊断分析采用批处理、设备状态异常快速检测可采用流处理和大数据快速检索技术：（设备状态诊断分析采用批处理、设备状态异常快速检测可采用流处理和内存计算）大数据快速检索技术：分布式联机分析处理(distributedOLAP)为提高设备状态评估数据检索和分析的效率，需采用二级索引技术。数据挖掘分析算法与并行化技术由于大数据具有海量、复杂多样、变化快等特性，传统小数据的数据分析算法很多已不再适用，需要对现有数据分析方法进行改进（如：基于共算法很多不再适，需要对现有数据分方法行改如轭度的SVM、并行化提高挖掘分析速度）或采用新的数据分析方法（如：高维矩阵分析方法、深度学习）传统统计分析分类分析归纳学习统计分析挖掘分析机器学习传统统计分析时间序列分析分类分析（ANN、SVM、模式识别、决策树等）归纳学习分析学习类比学习多元统计分析（主成分分析，多重回关联分析（Apriori算法、FP增长算法、频繁子图强化学习集成学习归分析，典型相关分析，……）高维矩阵分析增长算法频繁图挖掘等）聚类分析（基于密度基于图）集成学习深度学习高维矩阵分析（基于密度，基于图）五、课题主要技术路线大数据分析与物理数学模型相结合实现输变电设备状态评估和预测通过大数据技术分析各类数据的关联关系及变化情况，找到数据的相关关系和变化规律，建立基于数据驱动的评估和预测模型；关关系和变化规律，建立基于数据驱动的评估和预测模型；利用大量样本数据进行学习，对传统的物理数学模型和经验公式的参数和阈值进行修正、补充完善和验证。研究背景及驱动力关键技术关键技术典型应用典型应用面临的挑战面临的挑战总结与展望1海量历史数据挖掘统计分析建立知识库对设备状态相关的海量监测数据、试验数据、气象数据、运行数据以及设备缺陷和故障记录进行分类的多元统计分析和关联规则挖掘建立历史知识库为陷和故障记录进行分类的多元统计分析和关联规则挖掘，建立历史知识库，为状态评价、故障诊断和预测提供支撑，也可以为状态检修辅助决策提供依据。状态量历史数据故障和缺陷记录的多元统计分析气象历史数据故障和缺陷的关联规则平均值最大值分布曲线设备型号运行年限生产厂家….….1海量历史数据挖掘统计分析建立知识库缺陷和时间的关联统计分析缺陷与地域的关联统计分析设备缺陷\故障与状态量的关联规则设备缺陷\故障之间的发展关联规则为设备状态检修提供指导，为设备状态评估和预测提供历史知识支撑2设备状态差异化、精细化评价2设备状态差异化、精细化评价问题设备状态评价大都采用统一标准的计算模型、参数和阈值，难以保证对不同类型、不同地区设备的普遍适用性。大数据解决方案大数据解决方案利用海量设备状态数据、缺陷和故障记录进行多元统计分析和关联分析，构建后验分布函数，获得不同设备类型、不同和关联分析，构建后验分布函数，获得不同设备类型、不同地区、不同厂家、甚至不同时间段的评价模型参数和阈值。2设备状态差异化、精细化评价2设备状态差异化、精细化评价2.1 基于主成分分析和关联规则的输变电设备状态关键状态参数提取方法其它系统交互信息静态信息状态监测信息缺陷一般设备状态评价参数众多，其它系统交互信息库紧急重大缺陷缺陷故障分布情况对所有参量进行评估效率较低，且部分参量难以准确获取基础参数体系以准确获取。结合设备故障、缺陷的数体系结合设备故障、缺陷的统计情况，提取状态评价的关键参量。关键参数参数体系2设备状态差异化、精细化评价2设备状态差异化、精细化评价2.1 基于主成分分析和关联规则的输变电设备状态关键状态参数提取方法结合电网历年故障缺陷统计和缺陷库通过关联规则中的置信度将参数体结合电网历年故障、缺陷统计和缺陷库，通过关联规则中的置信度将参数体系中各部件的基础参量量化，利用主成分分析提取各参量对主成分的权重，以此作为依据提取设备状态评价的关键参量。2设备状态差异化、精细化评价2设备状态差异化、精