人工神经网络第三章

神经网络原理NN第一章1神经网络辨识引言NNI的一般结构基于BP网络的辨识基于Hopfield网络的辨识逆动力学系统的建模神经网络原理NN第一章2引言定义几个基本问题NNI的原理NNI的理论依据NNI的优点神经网络原理NN第一章3定义1.辨识就是在输入输出数据的基础上，从一组给定的模型中确定一个与所测系统等价的模型L.A.Zadeh2.辨识的三要素：I/O数据、系统结构模型、等价准则3.原理框图神经网络原理NN第一章4系统辨识的原理图系统辨识模型W(k)Z(k)-+e(k)u(k))(ˆkz神经网络原理NN第一章5基本问题模型的选择原则：兼顾复杂性和精确性NNI：网络隐节点个数选择由仿真确定输入信号选择对动态系统而言，输入信号要充分激励，（基本要求）进一步，最优输入信号设计NNI：噪声或伪随机信号误差准则的确定神经网络原理NN第一章6误差准则的确定误差的三种形式1.输出误差2.逆模型辨识误差3.广义误差4.例keflewefJLK21,,0,神经网络原理NN第一章7输出误差SMW(k)u(k)Z(k)e(k)+-)(kzp)(??kzkuPkzkzke--[神经网络原理NN第一章8逆模型辨识误差SIMW(k)u(k)Z(k)p)(1kukzPkukuke---e(k))(ku神经网络原理NN第一章9广义误差SMW(k)u(k)Z(k)1p)()(112kuPkzPke--Me(k)12?-p神经网络原理NN第一章10例:s的差分方程准则L为学习序列长度，为数值NNI：NNI：实质为最优化问题1,,1,,111,,111,,1,,100--------mkukugnkZkZfkenZfnkZkZfkwmkukugnkZkZfkZLkkeJ122211,PNPN实现实现神经网络原理NN第一章11NNI原理线性模型（ARMA模型)原对非线性系统无统一数学模型描述现用NN逼近，给出基于输出误差的NNINNI原理：在学习系统的I/O数据，建立系统的辨识格式，使误差准则最小，从中得出隐含的I/O关系nnmnbbaamkukunkzkzkhmkubkubnkzakzakz-----1111,1,1111神经网络原理NN第一章12神经网络辨识系统结构示意图神经网络原理NN第一章13TDLTDL---)(...)2()1()(ntxtxtxtyX(t)y(t)神经网络原理NN第一章14NNI的理论依据定理：具有任意数目隐单元的三层前向网络可一致逼近平方可积分函数神经网络原理NN第一章15NNI的优点1.无需建立实际系统的辨识格式，可省去系统结构建模这一步，可调参数为NN的权值;2.可对本质非线性系统进行辨识，在网络外部含系统I/O特征，非算法式的;3.辨识算法不依赖于辨识系统的维数，仅与NN本身和学习算法有关;4.NN为实际系统的物理实现，可用于在在线控制。神经网络原理NN第一章16NNI的一般结构引言对象的NLmodel描述神经网络原理NN第一章17引言NN：多层前馈网络（BP等）可实现任意NL静态映射；反馈网络（Hopfield）有动态环节，不可去映射NN问题：希望构造新网络，保持2者优点，可映射任意NL动态网络解决：将Hopfield网络形式由单层变多层神经网络原理NN第一章18对象NLmodel描述状态方程NLmodel的四种形式得出的四种辨识结构神经网络原理NN第一章19状态方程系统为具有未知参数的线性对象时，系统可控且可观，有串－并联、并联两种形式kxkykukxkx,,1jkukikykakyjkukikykakymijpniipmijpniip--------10101010ˆˆˆˆˆˆˆ并联：串并：神经网络原理NN第一章20四种形式kwqcmkukunkykyfkykwqcmkukuynkykyfkykwqcikunkykyfkykwqcmkukugikyakyppppppmiippppnivp111101101,1.411.31.21.1--------------神经网络原理NN第一章21辨识结构uyNkyuuNyyNkykuqBmkykyNkymkukuNkyqAkypp----ˆ.4ˆ.31ˆ.21ˆ.12111神经网络原理NN第一章22并联模型+-ym(k+1)对象y(k+1)u(k)(a)e(k+1)NN模型Z-1神经网络原理NN第一章23串并联模型+-对象y(k+1)u(k)(b)e(k+1)NN模型Z-1神经网络原理NN第一章24基于BP网络的辨识(p177)考虑SISO问题NN的学习算法例神经网络原理NN第一章25流程图YN图2.9BP网络模型辨识框图样本{u(k-1),y(k-1)}进行数据预处理网络权值初始化开始由网络输出ym(k-1)，计算e(k-1)修正网络权值e(k-1)ε输出网络模型参数结束神经网络原理NN第一章26考虑SISO问题设NN结构为3层，各层神经元的选择：输入层：设n、m分别为y(t)、u(t)之阶次则隐层H：a+(n+m)-1/2输出层O：输出向量组成：11,1(1)ytfytytnututm----11mnr12rr个数：：：系统输出个数，lrMOrsor3331---1111,11,rinnituniitytxtxtxxir神经网络原理NN第一章27NN的输入输出关系各层的输入输出关系权系数修改法则算法步骤（仿真时）神经网络原理NN第一章28各层输入输出关系性能指标：阀值：阀值：1,ˆ11,1,10-ItIPtyOHeeftnetfIxtxvtnetHIriiixxiijnjiji2ˆ21tytyJm-神经网络原理NN第一章29权系数修改法则1,ˆ112121-----txtxxtytytetvatxtptnetfteatvtpatIteatpiivjviiiijiii神经网络原理NN第一章30算法步骤初始化权值选择之一计算由形成计算按以上算法修正加权系数将移位，转第二步1.0,1.0,-vijpv阶跃、斜坡、正弦tutytytu,txitetytu,神经网络原理NN第一章313.2.5BP网络逼近仿真实例使用BP网络逼近对象：BP网络逼近程序见chap7_1.m23)1(1)1()()(--kykykuky神经网络原理NN第一章32仿真例例1电加热炉辨识仿真例2例3神经网络原理NN第一章33010020030040050060070080090010000.20.40.60.811.21.41.61.8DesiredandActualOutputTime(sec)Desired(T--)andActual(A－)－－－－神经网络原理NN第一章34模型辨识前数据的预处理①去除趋势项②数据滤波③数据的归一化处理神经网络原理NN第一章35三温区电加热炉系统辨识本系统BP神经网络由输入层、隐含层、输出层三层组成。系统的输入层取6个神经元、隐含层取10个神经元输出层取3个神经元，目标误差平方和为1.5e-006，加入二位式伪随机信号（PRBS），得到实际观测3400样本，进行归一化处理。从测试样本中选取970个样本进行训练，温度从400升至428。神经网络原理NN第一章36网络炉温目标输出与实际输出01000200030004000500060000.80.850.90.9511.051.11.151.2TargetandOutputVectorT(A)Timet/s—Targetand---OutputT(A)－－－－－－－－－T(A)－－－－－T(A)－－－－－T(A)神经网络原理NN第一章37局部放大图3000302030403060308031003120314031603180320011.0051.011.0151.021.025TargetandOutputVectorT(A)Timet/s—Targetand---OutputT(A)－－－－－T(A)神经网络原理NN第一章38几种算法学习训练时间比较项目标准BP算法加动量因子的BP算法LM算法时间（秒）1209030次数5000300073比较标准BP网络与改进算法后的BP网络，前者存在着学习速度慢，需要较长时间，平均训练次数很多，有时训练次数到了后仍达不到目标期望误差；后者学习速度快，只时间短，平均训练次数少，网络的输出与系统实测输出拟合得很好。神经网络原理NN第一章39对象输出与模型输出曲线图01002003004005006000.850.90.9511.051.1TargetandOutputVectorTimeVectortTarget(Output)VectorT(A)神经网络原理NN第一章403.2RBF网络的逼近采用RBF网络逼近一对象的结构如图3-14所示。神经网络原理NN第一章41图3-14RBF神经网络逼近神经网络原理NN第一章4223)1(1)1()()(--kykykuky使用RBF网络逼近下列对象：RBF网络逼近程序见chap7_3.m。3.3RBF网络逼近仿真实例神经网络原理NN第一章437.4回归神经网络对角回归型神经网络（DRNN：DiagonalRecurrentNeuralNetwork）是具有反馈的动态神经网络，该网络能够更直接更生动地反映系统的动态特性，它在BP网络基本结构的基础上，通过存储内部状态使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，DRNN网络代表了神经网络建模和控制的方向。神经网络原理NN第一章443.4.1DRNN网络结构DRNN网络是一种三层前向网络，其隐含层为回归层。正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播就是将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值和阈值，使误差信号减小。DRNN网络结构如图7-18所示。神经网络原理NN第一章45图3-18DRNN神经网络结构神经网络原理NN第一章46图3-19DRNN神经网络逼近神经网络原理NN第一章473.4.3DRNN网络逼近仿真实例使用DRNN网络逼近下列对象：23)1(1)1()()(--kykykukyDRNN网络逼近程序见chap7_4.m。神经网络原理NN第一章48基于Hopfield网络的辨识(p216)系统NN为Hopfield网络时神经网络原理NN第一章49系统线性系统：用Hopfield网络来模拟系统，使在所有状态下平方误差最小。eSPSPSSPPKUBBXAAeeyXeKeVBXAyVBXAX----满足动态方程：辨识模型：线性定常系统,BsUAsXXyXtedtteteTEqqTqT---