有监督和BP神经网络

引言神经网络系统的内容前向神经网络模型动态神经网络模型第四章人工神经元网络模型主要内容第一节引言过程控制、智能机器人、航天航空、社会经济、交通运输、环保与能源。对象的特点:不确定性、严重非线性、时变和滞后。人工神经元网络（ArtificialNeuralNetworks，简称A.N.N.)是智能控制的一个分支。智能控制研究的对象：复杂的系统人工神经网络的其它应用领域：土木工程：预测城市火灾损失、诊断地震结构损害故障（1）模式信息处理和模式识别（2）最优化问题计算电力系统：变压器的故障诊断化学工程：反应器的故障诊断、精溜塔的系统的辨识、建模归结为两类问题：模式信息处理：对信息进行特征提取、数据压缩及各种变换等。模式识别：图形、符号、手写体及语音识别，目标识别，机器人的视觉、听觉等。路径选择、设备或物资调度、交通管理等。是模仿脑细胞和脑神经结构及其思维和处理问题的功能而抽象出来的一种多层网络形式的信息处理系统。发展历史分四个时期：初期：1943年～1969年低潮期：1969年～1979年复兴期：80年代高潮期：1987年～至今人工神经元网络（ArtificialNeuralNetworks，简称A.N.N.)：树突神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。本神经元其它神经元轴突神经元细胞体轴突树突接受信息传导信息人脑约有1010--1014神经元每个神经元约有103--104突触1、神经元模型的提出神经元模型利用物理器件来模拟生物神经网络的某些结构和功能。connectionweightsx1x2xnw1w2wnqiuiyi2、基本原理网络首先要以一定的学习准则进行学习，然后才能工作。如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。例人工神经网络A对手写“A”、“B”两个字母进行识别，规定当“A”输入网络时，应该输出“1”，当输入为“B”时，输出为“0”。10学习的准则首先，给网络的各连接权值赋予(0，1)区间内的随机值。将“A”所对应的图象模式输入给网络，经运算后，得到网络的输出（1/0），是完全随机的。正确错误增大连接权值减小连接权值仍然能作出正确的判断减小犯同样错误的可能性将输入模式分布记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，就能够作出迅速准确的判断和识别。网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。网络按以上方法进行若干次学习后，网络判断的正确率将大大提高。任何的神经网络在工作之前必须经过学习（训练），即：不断调整连接权值使网络输出为期望的数值。生物神经网络与计算机信息处理系统比较处理速度msns级快106倍处理顺序串行并行，很强的综合处理信息能力信息复杂程度信息数量巨大构造复杂人工神经元模型简化知识存储存储在神经元之间的连接关系中容错个别神经元的破坏不影响整体性能CPU或存储器的损坏将导致整个系统实质性的破坏存储器生物神经网络计算机信息处理3、人工神经网络的特点（1）并行处理性：神经网络是由大量的神经元广泛互连而成的系统，具有高速信息处理的能力。（2）分布式的存贮方式：在神经网络中，知识与信息分散地表示和存储于整个网络内的各神经元及其连线上。整个网络存储信息容量是巨大的，具有很强的不确定性信息处理能力。（3）较强的容错性和联想性：因为神经网络的结构和其信息存储的分布式特点，使得它具有较强的容错性和联想性。神经元模型、激活函数、网络结构、网络学习算法。神经元模型：有线性处理单元和非线性处理单元神经网络结构：是众多的神经元按一定的结构形式构成的网络。前向网络、反馈网络、自组织网络学习：是指神经元系统根据某种学习方法调整它内部的参数以完成特定的任务的过程。学习算法：有导师指导无导师指导第二节人工神经网络的基本要素●简化模型一、神经元模型是一个信息处理单元，神经网络的基本组成部分；是多输入-单输出的非线性器件。)(iiufyiuiqjxjw第i个神经元的净输入ijnjjixwuq1第i个神经元的阈值表示第j个输入的连接权系数；输入信号,j=1,…,n;激活函数（Activationfunction）x1x2xnw1w2wnqiuiyiForeachnodei,theoutputactivationfunctionisdefinedasfollows基本特性（Basiccharacteristics）:(1)对于每一个节点i存在一组状态变量xi(输入)Foreachnodei,thereexistsastatevariablexi,namely,input.(2)从节点i至节点j,存在一个连接权系数wjiThereexistsaweightingbetweennodeitonodej,(3)对于每一个节点i存在一个阈值θiForeachnodeithereexistsathresholdθi(4)对于每一个节点i,定义一个输出激活函数二、激活函数类型1）阈值型（two-valuedfunction）0001)(iiiuuuf0101)(iiiuuuf或f(ui)ui阈值函数1ui阈值函数f(ui)1-1特征：不可微、阶跃型，用于感知器模型、Hopfield模型。2）分段线性型（饱和型）bubuakuauufiiiii10)(icuieuf11)(3）Sigmoid函数型（S型函数）uiSigmoid函数f(ui)10.5特征：不可微、阶跃型，用于模式、文字识别等。是阈值型和线性型函数的综合uif(ui)10.5分段线性函数ab①对数函数（非对称型）2')1()(iicucuieceuf)1(1)1(iiicucucueece)1(1)111(iicucueec)()](1[iiufufc用Sigmoid函数的好处是对其求导较容易ui双曲正切函数f(ui)1-1②双曲正切函数（对称型）)112()(icuieKuf)11(iicucueeK注意:函数值总为正（Note:alwayspositive）注意:函数值Note:–1f(x)1特征：可微、阶跃型，用于BP模型等。X1X2X3X层H层Y层输入输出Y1Y2Y3W111、前向网络（FeedforwordNetworks）神经元分层排列，输入层（X）、隐含层（H）、输出层（Y）；每层神经元只接受前一层的输入；各神经元之间不存在反馈。(注意:每两个神经元之间均有一连接权系数Wij)三、神经网络的模型结构2、反馈网络只在输出层到输入层存在反馈，（即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。3、相互结合型网络在任意两个神经元之间都可能有连接。信号在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中。4、混合型网络是a型网络和c网络的结合。四、神经网络的学习算法(LearningAlgorithm)学习是指需要改变网络神经元之间的连接权重系数来使网络整体的输入输出达到期望的映射关系或特性。神经网络模型都是和学习算法相应的，有的模型可以有多种算法．而有的算法可能用于多种模型。●按学习的方法神经元网络可分成二类：感知器、误差反传网络（BP）、小脑模型连接控制器（CMAC）、模块（组合）网络、增强学习网络1）有监督的学习网络(SupervisingLearning)以期望输出和实际输出之间的误差作为度量去调整权值。竞争型Kohonen网络Hopfield网络双向联想存贮器（BAM）Boltzman机2）无监督学习网络（Non-supervisingLearning）无需目标输出,只向神经网络提供输入信号模式,神经网络自动适应连接权,使具有相似特征的输入模式分组聚集采用不同的插值计算可产生不同的曲线，无法判断哪一条曲线更符合实际？有限的样本数据难以确定正确的输出五、神经网络的泛化能力当输入矢量带有噪声时，即与样本输入矢量存在差异时，其神经网络的输出同样能够准确地呈现出应有的输出。第二节前向神经网络模型输入层、隐含层（一层或多层）、输出层前一层的输出作为下一层的输入，相邻层之间通过突触权连接，网络的突触权系数可以通过学习进行调整，是有导师指导的学习。一、单一人工神经元（感知器）)(iiufyijnjjixwuq1x1x2xnw1w2wnqiuiyif(ui)01ijnjjixwuq01＜xwuijnjjiq11)(iuf感知器的最大作用就是可以对输入的样本进行分类（classifier）可以用于实现逻辑函数。11yA类B类例：用感知器实现逻辑函数X1∪X2的真值X10011X20101X1∪X20111X1∪X2=1为A类，X1∪X2=0为B类。x1+x2=0.5x1x2（1,1）（1,0）（0,1）（0,0.5）（0,0）（0.5,0）A类B类Example2：XORisnotalinearlyseparablefunction.感知器的传递函数是二值函数，学习算法相当简单。但当函数不是线性可分时，则求不出结果。xxy1200-101110111-1-0.5xx1122wwyA类B类)(1injijijixwfyq二、单层神经网络结构由个输入单元和个输出单元组成，每个输出神经元满足inonijw表示第j个输入单元与第i个输出单元之间的连接权系数“单层”是指神经元输出层，源节点输入层不计算在内。源节点输入层神经元输出层三、多层神经网络结构输入层输出层隐含层一个完全连接网络。理论上隐层可以有N个。隐层的存在可以使网络具有很强的能力（如泛函逼近能力）隐层神经元的学习算法是一个难点。应用十分广泛。（如BP网）inputlayerhiddenlayeroutputlayer具有一个隐含层的全连接多层前向传播网络。其中有个输入变量和个输出变量；输入变量向个隐含层单元传递输入信号，则每一个隐含单元的变换满足方程为inon),...,2,1(iinixhnhnljljljnjxwoi,...,2,1)(11q式中为隐含神经元的变换函数。各神经元变换函数可以不一样YnoX1X2Xni输入输出Y1Y2∶∶∶∶∶∶∶∶∶∶wjl1wij2onjijijiniowfyh,...,2,1)(02q式中，f为输出层神经元的变换函数。输出层单元为如果w、θ及层数一定，输入到输出的映射关系就确定。由适量的人工神经元按一定的结构形式组成的网络，具有特定的输入输出映射关系。结论：当神经元及其网络结构已定时，改变神经元之间的连接权重系数，可改变整体网络的映射关系。问题：（1）通过调整各加权系数和阈值，是否可以使网络的映射关系逼近某个已知的非线性函数？如何调整？已证明：3层前向网络当隐含层的神经元的变换函数采用S型函数且隐含层的神经元的个数足够多时，调整各加权系数和阈值该网络可以逼近任意的非线性函数。为逼近某个已知的非线性函数或已知输入输出关系的对象，对网络加权系数和阈值采取的调整策略。四、多层传播网络的学习算法（BP算法）以3层前向网络结构为例用网络逼近一个实际对象对象xp1xpnitp1tpno实际对象的输入：xp=[xp1,xpni]实际对象的输出：Tp=[tp1,tpno]给一组输入，可测出一组输出x1→T1……xN→TNxp1xpniypno隐含层hpjO···xp2·····输入层输出层yp2yp1wji1θj1θj2wji2j=nhi=nij=nhj=noi=nhj=noonjpjpjNpytE121])(21[性能指标:第n对样本的误差平方和onjpjpjpytE12)(21如何求取一组网络参数：wji1θj1θj2wji2使E→Emin最小训练网络权系数是通过反向传播网络的期望输出（样本输出）与实际输出的误差来实现的。（BackPropagationLearningAlgorithmBP算法）常用的数值优化方法：