第3章-人工神经元网络控制论-网络模型

第3章人工神经元网络控制论－网络模型智能控制基础引言3.2前向神经网络模型3.6神经网络控制基础3.7非线性动态系统的神经网络辨识3.8神经网络控制的学习机制3.9神经网络控制器的设计3.3动态神经网络模型3.10单一神经元控制法目录引言人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能，且能实现并行处理、自学习和非线性映射等能力的一种系统模型。发展历史1943年，心理学家McCmloch和数学家Pitts合作提出形式神经元数学模型(MP)，揭开了神经科学理论的新时代。1944年Hebb提出了改变神经元连接强度的Hebb规则。1957年Rosenblatt首次引进了感知器概念（Perceptron)。。1976年，Grossberg提出了自适应共振理论。1982年，美国加州工学院物理学家Hopfield提出了HNN模型，他引入了“计算能量函数”的概念，给出了网络的稳定性判据。1986年，Rumelhart等PDP研究小组提出了多层前向传播网络的BP学习算法。网络模型人工神经元模型神经网络模型神经网络控制动态系统的神经网络辨识神经网络学习机制神经网络控制器的设计主要内容引言3.1.1神经元模型3.1.2神经网络的模型分类3.1.3神经网络的学习算法3.1.4神经网络的泛化能力神经元模型神经元模型是生物神经元的抽象和模拟。可看作多输入/单输出的非线性器件。ui神经元的内部状态，θi阀值，xi输入信号，j=1,2,…,n;wij表示从单元uj到单元ui的连接权值;si外部输入信号i数学模型通常直接假设yi=f(Neti)f为激励函数，有4种类型。)g(uy)f(NetusxwNetiiiiiijjiji图3—1—2神線元结构模型Neti10图3—1—3阀值函数NetiffNetNetfmaxi0i1图3—1—4线性函数0激励函数类型1阈值型0Net00Net1)Net(fiii激励函数类型2分段线性型1iimax1ii0ii0iiiNetNetfNetNetNetkNetNetNet0)Net(f激励函数类型3Sigmoid函数型fNeteiNetTi()11激励函数类型4Tan函数型TNetTNetTNetTNetiiiiieeee)Net(f引言3.1.1神经元模型3.1.2神经网络的模型分类3.1.3神经网络的学习算法3.1.4神经网络的泛化能力前向网络反馈网络相互结合型网络混合型网络3.1.2神经网络的模型分类1234网络结构图(a)(b)......(c)(d)图3-1-7引言3.1.1神经元模型3.1.2神经网络的模型分类3.1.3神经网络的学习算法3.1.4神经网络的泛化能力神经网络的学习算法有导师学习无导师学习ab学习规则学习规则相关学习纠错学习无导师学习相关学习仅仅根据连接间的激活水平改变权系数。它常用于自联想网络。最常见的学习算法是Hebb规则。η表示学习步长jiijoy纠错学习有导师学习方法，依赖关于输出节点的外部反馈改变权系数。它常用于感知器网络、多层前向传播网络和Boltzmann机网络。其学习的方法是梯度下降法。最常见的学习算法有δ规则、模拟退火学习规则。无导师学习学习表现为自适应实现输入空间的检测规则。它常用于ART、Kohonen自组织网络。在这类学习规则中,关键不在于实际节点的输出怎样与外部的期望输出相一致，而在于调整参数以反映观察事件的分布。例如Winner-Take-All学习规则。引言3.1.1神经元模型3.1.2神经网络的模型分类3.1.3神经网络的学习算法3.1.4神经网络的泛化能力神经网络的泛化能力当输入矢量与样本输入矢量存在差异时，其神经网络的输出同样能够准确地呈现出应有的输出。这种能力就称为神经网络的泛化能力。在有导师指导下的学习中，泛化能力可以定义为训练误差和测试误差之差。与输入矢量的个数、网络的节点数和权值与训练样本集数目之间存在密切的关系。引言3.2前向神经网络模型3.6神经网络控制基础3.7非线性动态系统的神经网络辨识3.8神经网络控制的学习机制3.9神经网络控制器的设计3.3动态神经网络模型3.10单一神经元控制法目录前向神经网络模型3.2.1网络结构3.2.2多层传播网络的BP学习算法3.2.3快速的BP改进算法网络结构单一神经元单层神经网络结构多层神经网络结构123(x)y1xxx—1—11单一人工神線元的示意图11xxxxxxxx222nnn1—1—12只含二次项的神線元结构示意图单一神经元ywwxjjnj()01w0为阈值，wj决定第j个输入的突触权系数。图3—1—13单层前向传播网络结构示意图12yyio2k1kxxxnkiijw图3—1—14(b)L+1层前向传播网络结构示意图11kwyyyonkij2kL1k2k1kxxxnkwyyyionkijijw2k图3—1—14(a)含一个隐含层前向传播网络结构示意图(1)(2)单层神经网络结构ojn0jijin1,2,...,i)xw(yix0=1图3—1—13单层前向传播网络结构示意图12yyio2k1kxxxnkiijw图3—1—14(b)L+1层前向传播网络结构示意图11kwyyyonkij2kL1k2k1kxxxnkwyyyionkijijw2k图3—1—14(a)含一个隐含层前向传播网络结构示意图(1)(2)多层神经网络结构以单隐含层网络为例：)xw(oin0ll)1(jlj)ow(yjn0j)2(ijihOj为隐含层的激励前向神经网络模型3.2.1网络结构3.2.2多层传播网络的BP学习算法3.2.3快速的BP改进算法多层传播网络的BP学习算法基本思想单层网络的学习算法多层前向网络学习算法有导师学习的基本思想性能指标为φ（·）是一个正定的、可微的凸函数，常取)yt(EEpiN1ppin1iN1ppoon1i2pjpjp)yt(21E单层网络的学习算法激励函数为线性函数时，可通过最小二乘法来学习。激励函数为非线性函数时，可采用Delta规则，即梯度法，有jipjpjpjjipjipwy)yt(wEwα是学习因子)(XXTXW-1TTT多层前向网络学习算法针对多层前向网络有导师学习网络模型第r＋1个隐含层：输出层1L...2,1,0rowNetrn1l1rj)r(pl1rjl)1r(pj1L...2,1,0r)ow(orn1l1rj)r(pl1rjl1r)1r(pjoLjn1i)1L(piLjiLLpjLpjn...2,1j)ow()Net(y1L采用梯度法：其中：定义广义误差：可得：rpjprpjNetErjiprjipwwErjirpjrpjprjipwNetNetwEEk)1r(pi)1r(pkrjkrjirjirpjoo)1r(pirpjrjipowBP学习算法反向误差传播输出层时，有：隐含层时，有：)Net()yt(NetyyENetELpjLpjpjLpjpjpjpLpjpLpj)Net()w()Net()oNetNetE((NetooENetErpjrk1rkj1rpkrpjrrpj1rpkk1rpkprpjrpjrpjprpjprpj例3-1假设对于期望的输入。网络权系数的初始值见图。试用BP算法训练此网络（本例中只给出一步迭代学习过程）。这里，取神经元激励函数：学习步长为xe11)x(fTT][0.95,0.05]t,[t,[1,3]]x,[xT21T21。1图3－15当前输出11x0x2wxwxwnet23x)2(x1wxwxwnet211202122112112211102112111111731.0e11e11o1192.0e11e11o1net22net112116572.13o)2(o1wowownet8808.12o0o1wowownet2122022221221222121022121211218399.0e11y1323.0e11y2221net2net1计算广义误差1062.0)y1(y)yt()net(f)yt(0938.0)y1(y)yt()net(f)yt(2222222222111121112104176.0)o1(o)ww()o1(ow2811.0)o1(o)ww()o1(ow22222222122122k22k2k1211221222112111k21k2k11连接权系数更新1062.0w0776.0ow01266.0ow0938.