计算智能第2章 神经网络

第2章神经网络Contents神经网络简介1神经网络的典型结构2神经网络的学习算法3BP神经网络4进化神经网络5神经网络的应用62.1神经网络简介什么是神经网络？神经网络（NeuralNetwork，NN）一般也称为人工神经网络（ArtificialNeuralNetwork，ANN），是科学家们在对生物的神经元、神经系统等生理学的研究取得了突破性进展以及对人脑的结构、组成和基本工作单元有了进一步认识的基础上，通过借助数学和物理的方法从信息处理的角度对人脑神经网络进行抽象后建立的简化模型。2.1.1基本原理树突轴突细胞体细胞核轴突末梢突触生物神经元基本结构示意图2.1.1基本原理•树突•细胞体•轴突•突触生物神经元人工神经元类比关系•输入层•加权和•阈值函数•输出层2.1.1基本原理模拟神经元的树突接收输入信号输入层加权和阈值函数输出层模拟神经元的细胞体加工和处理信号模拟神经元的轴突控制信号的输出模拟神经元的突触对结果进行输出x1x2x3xn…………w1w2w3wn输出f=1121,if(,,,)0,otherwiseniiinxwfxxx……结果人工神经元结构功能示意图2.1.2研究进展1943年McCullonch和Pritts提出了神经元的数学描述和网络的结构方法，这标志着神经网络计算时代的开始。1957年Rosenblatt定义一个称为感知器的神经网络结构，第一次把神经网络从纯理论的探讨推向了工程实现，掀起了神经网络研究的高潮。Minsky和Papert在1969年发表论著《Perceptrons》指出感知器仅能解决一阶谓词逻辑，只能完成线性划分，对于非线性或者其他分类会遇到很多困难，就连简单的XOR（异或）问题都解决不了。由此，神经网络的研究进入了反思期。启蒙萌芽时期1940s至1960s低潮反思时期1960s至1970s2.1.2研究进展20世纪90年代中后期，神经网络研究进入了一个新的发展阶段，一方面已有理论在不断地深化和得到进一步推广，另一方面，新的理论和方法也在不断出现。光学神经网络、混沌神经网络、模糊神经网络、进化神经网络等新模型陆续出现。1982年Hopfield提出的全连接网络模型才使得人们对神经网络有了重新的认识,开辟了一条新的研究道路。1986年Rumelhart等人提出的反向传播算法，使Hopfield模型和多层前馈神经网络成为应用最广泛的神经网络模型之一。复兴发展时期1980s至1990s新的发展时期1990s中后期之后2.1.2研究进展重要学术期刊IEEETransactionsonNeuralNetworksIEEETransactionsonSystems,ManandCyberneticsJournalofArtificialNeuralNetworksJournalofNeuralSystemsNeuralNetworksNeuralComputationNetworksComputationinNeuralSystemsMachineLearning……2.1.2研究进展重要学术会议InternationalJointConferenceonNeuralNetworksIEEEInternationalConferenceonSystems,Man,andCyberneticsWorldCongressonComputationalIntelligence2.2神经网络的典型结构按网络的结构区分前向网络反馈网络按学习方式区分有教师（监督）学习网络无教师（监督）学习网络按网络的性能区分连续型和离散型网络随机型和确定型网络2.2神经网络的典型结构按突触性质区分一阶线性关联网络高阶非线性关联网络按对生物神经系统的层次模拟区分神经元层次模型组合式模型网络层次模型神经系统层次模型智能型模型通常，人们较多地考虑神经网络的互连结构。本节将按照神经网络连接模式，对神经网络的几种典型结构分别进行介绍2.2.1单层感知器网络单层感知器是最早使用的，也是最简单的神经网络结构，由一个或多个线性阈值单元组成由于这种网络结构相对简单，因此能力也非常的有限，一般比较少用x1xixn…………y1yiyn……………………单网层络感示知意器图2.2.2前馈型网络前馈型网络的信号由输入层到输出层单向传输每层的神经元仅与其前一层的神经元相连，仅接受前一层传输来的信息是一种最为广泛使用的神经网络模型，因为它本身的结构也不太复杂，学习和调整方案也比较容易操作，而且由于采用了多层的网络结构，其求解问题的能力也得到明显的加强，基本上可以满足使用要求x1xixn…………y1yiyn…………………………………………………………2.2.3前馈内层互联网络这种网络结构从外部看还是一个前馈型的网络，但是内部有一些节点在层内互连x1xixn…………y1yiyn…………………………………………………………2.2.4反馈型网络这种网络结构在输入输出之间还建立了另外一种关系，就是网络的输出层存在一个反馈回路到输入层作为输入层的一个输入，而网络本身还是前馈型的这种神经网络的输入层不仅接受外界的输入信号，同时接受网络自身的输出信号。输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号；可以是本时刻的输出信号，也可以是经过一定延迟的输出信号此种网络经常用于系统控制、实时信号处理等需要根据系统当前状态进行调节的场合x1xixn…………y1yiyn…………………………………………………………2.2.5全互联网络全互联网络是网络中所有的神经元之间都有相互间的连接如Hopfiled和Boltgmann网络都是这种类型全互联网络2.3神经网络的学习算法竞争式学习规则概率式学习规则后向传播学习规则学习规则梯度下降学习规则学习规则学习规则学习规则再励学习无监督学习有监督学习学习方法神经网络学习算法Kohonen)(DeltaHebb2.3.1学习方法有监督学习无监督学习再励学习在有监督的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权重，最终使差异变小。在无监督的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权重，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方法2.3.2学习规则Hebb学习规则这个规则是由DonaldHebb在1949年提出的他的基本规则可以简单归纳为：如果处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强Hebb学习规则是一种没有指导的学习方法，它只根据神经元连接间的激活水平改变权重，因此此这种方法又称为相关学习或并联学习Delta（）学习规则Delta规则是最常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有的输出间的误差这个规则也叫Widrow-Hoff学习规则，首先在Adaline模型中应用，也可称为最小均方差规则BP网络的学习算法称为BP算法，是在Delta规则基础上发展起来的，可在多层网络上有效地学习2.3.2学习规则梯度下降学习规则梯度下降学习规则的要点为在学习过程中，保持误差曲线的梯度下降误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值Kohonen学习规则该规则是由TeuvoKohonen在研究生物系统学习的基础上提出的，只用于没有指导下训练的网络后向传播学习规则后向传播（BackPropagation，BP）学习，是目前应用最为广泛的神经网络学习规则2.3.2学习规则概率式学习规则从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值竞争式学习规则竞争式学习属于无监督学习方式。这种学习方式是利用不同层间的神经元发生兴奋性联接以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经无产生抑制性联接竞争式学习规则的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别2.4BP神经网络………………………………输入层隐含层输出层x1x2x3xny1ym2.4.1基本思想BP神经网络也称：后向传播学习的前馈型神经网络（BackPropagationFeed-forwardNeuralNetwork，BPFNN/BPNN），是一种应用最为广泛的神经网络在BPNN中，后向传播是一种学习算法，体现为BPNN的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现为BPNN的网络构架反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结果和预期结果的误差最小BPNN是一种典型的神经网络，广泛应用于各种分类系统，它也包括了训练和使用两个阶段。由于训练阶段是BPNN能够投入使用的基础和前提，而使用阶段本身是一个非常简单的过程，也就是给出输入，BPNN会根据已经训练好的参数进行运算，得到输出结果2.4.2算法流程4.网络权值与神经元偏置调整3.方向误差传播2.向前传播输入1.初始化网络权值2.4.2算法流程开始初始化：对网络权值和神经元偏置进行随机赋值。选取第一个输入样本。本样本训练结束？结束否是反向传播误差，求所有隐含层的误差选择下一个输入样本求输出层与预期输出的偏差E调整权值和神经元偏置前向求出各个隐含层和输出层的输出迭代次数t=1迭代次数t=t+1是所有样本训练完毕？否//功能：BP神经网络训练过程的伪代码procedureBPNNInitialization,includethewijandIforeachsampleXwhilenotstop//forwardspropagationoftheinputforeachunitjinthehiddenandoutputlayer//calculatetheoutputOj;foreachunitjintheoutputlayer//calculatetheerrorEj;Ej=Oj(1–Oj)(Tj–Oj);//backpropagationoftheerrorforeachunitjinthehiddenlayer//calculatetheerrorEj;//adjustthenetworkparametersforeachnetworkweightwijwij=wij+(l)EjOj;foreachbiasedjj=j+(l)Ej;endofwhilenotstopendofforeachsampleXendofprocedure(1)jjjjkkkEOOEw()1111jijijijSOOeew2.4.3应用举例例2.1已知一个前馈型神经网络例子如下图所示。设学习率l为0.9，当前的训练样本为x={1,0,1}，而且预期分类标号为1，同时，下表给出了当前该网络的各个连接权值和神经元偏置。求该网络在当前训练样本下的训练过程。456w14w15w24w25w34w35w46w560.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1123456w14w15w24w25w34w35w46w56x1x2x3例10.3BPNN分类系统训练过程第一步：前向计算每个神经元的输入加权和Sj和输出Oj单元j加权和Sj输出Oj4w14×x1+w24×x2+w34×x3+=0.2×1+0.4×0+(-0.5)×1+(-0.4)=-0.71/(1+e-(-0.7))=0.3325w15×x1+w25×x2+w35×x3+=-0.3×1+0.1×0+0.2×1+0.2=0.11/(1+e-0.1)=0.5256w46×O4+w56×O5+=-0.3