机械故障诊断学钟秉林第7章神经网络诊断原理

第7章神经网络诊断原理人工神经网络的拓扑结构及其学习规则多层前向神经网络模型及BP算法径向基函数(RBF)网络及其学习算法模糊神经网络原理机械故障诊断理论与方法第2篇基于人工智能的故障诊断技术2019/8/51内容安排一、概述人工神经网络（ArtificialNeuralNetworks，简称ANN）,是近年来得到迅速发展的一个前沿课题。ANN是在现代神经生理学和心理学的研究基础上，模仿人的大脑神经元结构特性而建立的一种非线性动力学网络系统，它由大量的简单的非线性处理单元（类似人脑的神经元）高度并联、互联而成，具有对人脑某些基本特性简单的数学模拟能力。2019/8/52神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。如汽车自驾系统、图像处理（人脸识别）、文字识别（手写识别）、语音识别、故障诊断等。与传统计算机的比较传统计算机神经网络设计算法和/或求解规则，编制软件无需算法或求解规则，软件编制任务相对简单指令串行执行高度并行处理不能解决形象思维问题，如感知、视觉等易于实现感知和视觉等形象思维问题脆弱鲁棒性(Robust)、容错性强，自适应能力差自适应性强强有力的数字和逻辑运算能力，计算精度高可以处理模糊的、概率的、含噪的或不相容的信息2019/8/53一、概述目前，已经提出的神经网络模型大约有几十种，较为著名的有：贺浦费特模型----Hopfield多层感知器（MultiLayerPerceptron,MLP）模型----Rumelhart自适应共振理论（AdaptiveResonanceTheory,ART）----Grossberg和Carpentent玻尔兹曼（Boltzmann）机----Hinton自组织特征映射（Self-RrganizingMap,SOM）模型---Kohonen双向联想记忆模型----Kosko2019/8/54一、概述人工神经网络在故障诊断领域的应用主要集中在如下三个方面：一是从模式识别角度应用神经网络作为分类器进行故障诊断；二是从预测角度应用神经网络作为动态预测模型进行故障预测；三是从知识处理角度建立基于神经网络的诊断专家系统。2019/8/55本章首先介绍神经网络的基本原理，然后着重从第一方面出发介绍几类在故障诊断领域应用较为广泛的神经网络模型。人工神经网络发展简史最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。一、概述2019/8/561957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。一、概述2019/8/571982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。1986年，Rumelhart和Meclelland提出多层网络的误差反传(BackPropagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。一、概述自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。2019/8/58二、人工神经网络的拓扑结构及其学习规则1.生物神经元与人工神经元模型生物神经元(NU)神经元是大脑处理信息的基本单元;人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络;神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干;主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。2019/8/59二、人工神经网络的拓扑结构及其学习规则树突突触来自其它细胞细胞膜轴突神经末稍细胞核细胞质2019/8/510细胞体对这些输入信号进行整合并进行阈值处理；树突是树状的神经纤维接收网络，它将电信号传送到细胞体；轴突是单根长纤维，它把细胞体的输出信号导向其他神经元；一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触[兴奋型、抑制型，膜外为正、膜内为负]神经元的排列和突触的强度(由复杂的化学过程决定)确立了神经网络的功能。二、人工神经网络的拓扑结构及其学习规则2019/8/511生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。二、人工神经网络的拓扑结构及其学习规则2019/8/512突触的信息处理生物神经元传递信息的过程为多输入、单输出；神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近；当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质；突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。生物神经元的主要功能与特点时空整合能力：对不同时间通过同一突触传入的神经冲动（激励），具有时间整合功能；对同一时间通过不同突触传入的神经冲动，具有空间整合功能。兴奋与抑制状态：传入神经冲动的时空整合结果，使神经元膜电位升高，超过神经元动作电位的阀值(约40mV)时，神经元进入兴奋状态；传入神经冲动的是时空整合结果，使神经元膜电位低于电位阀值之下，神经元进入抑制状态。脉冲与电位转换突触延时和不应期：一般为0.3～lms学习、遗忘和疲劳：存在学习、遗忘或疲劳（饱和）效应二、人工神经网络的拓扑结构及其学习规则2019/8/513可塑性：突触传递信息的强度是可变的，即具有学习功能人工神经元二、人工神经网络的拓扑结构及其学习规则2019/8/5141943，神经生理学家McCulloch和数学家Pitts基于早期神经元学说，归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的神经元模型以及这些人工神经元互联形成的人工神经网络，即所谓的McCulloch-Pitts模型，MP模型。MP模型是世界上第一个神经计算模型，即人工神经系统。...x1x2xnwj1wj2wjnjf().yjsjjjnijijijsfyxws1令：X=(-1,x1,x2,…,xn)TWj=(j,wj1,wj2,wjn)TXWTjjfy二、人工神经网络的拓扑结构及其学习规则2019/8/515典型人工神经元结构：作用函数：求和操作：图中∑表示求和，θj为阀值{x1,x2,…，xn}为输入，即其他神经元的轴突输出；n为输入数目；{ωj1，ωj2，…，ωjn}为其他n个神经元与神经元j的突触连接强度，通常称为权重，{ωji}可正可负，表示为兴奋型突触和抑制型突；f(.)通常为一非线性函数，称为神经的激活函数或转移函数；sj为神经元的求和输出，常称为神经元的激活水平，yj为输出。二、人工神经网络的拓扑结构及其学习规则2019/8/516MP模型f(x)是作用函数(ActivationFunction)，也称激发函数。MP神经元模型中的作用函数为单位阶跃函数：其表达式为：0,00,1)(xxxf...x1x2xnwj1wj2wjnjf().yjsj可知当神经元i的输入信号加权和超过阈值时，输出为“1”，即“兴奋”状态；反之输出为“0”，是“抑制”状态。二、人工神经网络的拓扑结构及其学习规则2019/8/517例1实现逻辑函数“与门”（ANDgate）运算。1—真，0—假二、人工神经网络的拓扑结构及其学习规则2019/8/5180,00,1)(xxxf二、人工神经网络的拓扑结构及其学习规则2019/8/519常见的神经元激发函数MP神经元模型是人工神经元模型的基础，也是神经网络理论的基础。在神经元模型中，作用函数除了单位阶跃函数之外，还有其它形式。不同的作用函数，可构成不同的神经元模型。激发函数的基本作用–控制输入对输出的激活作用–对输入、输出进行函数转换–将可能无限域的输入变换成指定的有限范围内的输出二、人工神经网络的拓扑结构及其学习规则2019/8/520I对称型Sigmoid函数xxeexf11)(0,11)(xxeexf或二、人工神经网络的拓扑结构及其学习规则2019/8/521II非对称型Sigmoid函数xexf11)(或0,11)(xexf二、人工神经网络的拓扑结构及其学习规则2019/8/522III对称型阶跃函数0,10,1)(xxxf采用阶跃作用函数的神经元，称为阈值逻辑单元。二、人工神经网络的拓扑结构及其学习规则2019/8/523IV线性函数（1）线性作用函数：输出等于输入，即xxfy)(（2）饱和线性作用函数110010)(xxxxxfy（3）对称饱和线性作用函数111111)(xxxxxfy二、人工神经网络的拓扑结构及其学习规则2019/8/524V高斯函数)(22)(xexf反映出高斯函数的宽度表7.1神经元激活函数类型表达式图象线性型f(x)=x阶跃型fxxx()1000符号型fxxx()10100xf(x)0xf(x)10xf(x)1-1二、人工神经网络的拓扑结构及其学习规则2019/8/525高斯函数型双曲正切型Sigmoid型斜坡型0,||)(araxraxxaxrxf0xf(x)1-1-aafxex()110.51f(x)0xfxtanhx()()1f(x)0x-1fxxcs()exp()222-50500.10.20.30.40.50.60.70.80.911x0cf(x)二、人工神经网络的拓扑结构及其学习规则2019/8/5262.人工神经网络的拓扑结构二、人工神经网络的拓扑结构及其学习规则2019/8/527众所周知，神经网络强大的计算功能是通过神经元的互连而达到的。根据神经元的拓扑结构形式不同，神经网络可分成以下两大类：目前，神经网络模型的种类比较多，已有近40余种神经网络模型，其中典型的有BP网络、Hopfield网络、CMAC小脑模型、ART自适应共振理论和Blotzman机网络等...............输入层第0层隐层1至L-1层输出层第L层x1x2xny1y2ymw1w2wLLLL不含反馈的前向网络2.人工神经网络的拓扑结构二、人工神经网络的拓扑结构及其学习规则2019/8/528神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈。感知器(Perceptron)、BP神经网络和径向基函数(RBF-RedialBasisFunction)神经网络都属于这种类型。输入节点隐节点输出节点u1uny1ym反馈网络全互连网络二、人工神经网络的拓扑结构及其学习规则2019/8/529在互连网络模型中，任意两个神经元之间都可能有相互连接的关系。