哈工大智能控制神经网络课件第十一课神经网络系统辨识

人工神经网络理论及应用屈桢深哈尔滨工业大学11.神经网络系统辨识系统辨识应用控制系统的分析和设计自适应控制：辨识器作为被控对象的模型，调整控制器参数，获得较好的控制效果建立辨识系统的逆模型，作为控制器预测、预报：建立时变模型，预测其参数，以实现系统参数的预测、预报。监视系统运行状态，进行故障诊断神经网络——解决非线性系统的离线/在线辨识问题主要内容系统辨识理论基础神经网络系统辨识原理NN线性模型辨识NN非线性模型辨识NN逆模型辨识系统辨识理论基础定义：在输入/输出数据基础上，从一组给定模型类中确定一个所测系统等价的模型。辨识三要素：输入/输出数据模型类(系统结构)等价准则e.g.Je符号P:待辨识系统；辨识系统模型u:输入y:输出；辨识模型产生的输出；w:实际参数；辨识参数k:采样时刻J:指标函数v:输出噪声h:数据向量：神经元作用函数ˆPyˆwˆ系统辨识问题表述以SISO离散动态系统为例{u(k),y(k)}是输入/输出时间序列(观测量)根据观测量确定模型，使指标函数最小Pˆ)(ˆ)(limNNJNYY2112NkJNek模型辨识结构)(ky)(ku)(ke+)(kn-)(ˆNNP学习算法P误差准则(1)输出误差(2)输入误差(3)广义误差表达形式？Pu(k)ˆP_y(k)e(k)P1ˆP_y(k)e(k)Pu(k)1ˆP_y(k)e(k)12ˆP广义模型辨识主要步骤确定辨识输入/输出数据输入信号形式采样周期辨识时间(辨识数据长度）：足够长模型结构辨识模型参数辨识模型检验输入信号满足条件充分激励原理：输入信号必须激励系统的所有动态；激励时间充分长；输入信号形式：白噪声序列(均匀分布，正态分布)；二进制伪随机码(M序列和逆M序列)；系统模型及逆模型辨识基于神经网络的系统辨识选择适当的神经网络作为被辨识系统P的模型及逆模型辨识过程所选的网络结构确定后，在给定的被辨识系统输入输出观测数据下，网络通过学习（训练），不断的调整权系值，使得准则函数为最优。NN辨识结构模型辨识逆模型辨识逆模型辨识(2)y(k)ku(k)-)(ke+)(knˆ1(NN)P学习算法P)(ky)(ku)(ke+)(kn-)(ˆNNP学习算法P)(ky+)(kn)(kr-)(ke)(ˆ1NNP学习算法PNN辨识系统辨识通常先离线，获得比较合适的初值，再在线，实时辨识时变参数；NN控制系统中，系统辨识是以系统在闭环控制下所得观测数据进行，因此是在线；时变系统，多考虑在线辨识动态系统辨识常用NN:时延NN线性DTNN:非线性DTNN:)(ky)(mkuW+1z)(ku1zTDLM0()()()mTjjykkwukjhw[(),(1),()]Tukukukmhwh);()(kNky动态系统辨识常用NN:输出反馈NN线性OFNN:非线性OFNN:局部递归网络[(1),(2),();(),(1),()]Tykykyknukukukmh+miiniiTikuwikywkky01)()()()(whwh);()(kNky图3-3-3(b)非线性输出反馈网络)(ku)(ky1zTDL1z1z1z多层前馈网MM两种辨识结构并联型:串-并联型:+uye_)(ˆNNPPuy+e_)(ˆNNPP下面首先介绍线性动态系统的辨识线性系统差分方程模型（1）差分方程是描述离散系统的时域模型。)(),(kyku是SISO系统能观测到的确定性输入输出，则确定性系统差分方程：)()2()1()(21nkyakyakyakyn++++)()2()1()(210mdkubdkubdkubdkubm++++上式模型，对输出y(k)是n阶差分，y(k)是最高阶、y(k-n)是最低阶。ia、ib：系数，0ia，0ib，是常数，则是定常系统，否则，是时变系统；d：输入最高阶u(k-d)低于输出最高阶y(k)的阶次，时延步数，1d。（2）差分算子表达式为简化模型描述，引入后向移位算子1q，代入上式得左差分算子表达式：)()()()(11kuqBqkyqAdnnqaqaqA+++1111)(mmqbqbbqB+++1101)()(1qA的阶n是差分算子表达式（差分方程）的阶，是求解差分方程所需的独立初始条件数。（1）差分方程是描述离散系统的时域模型。)(),(kyku是SISO系统能观测到的确定性输入输出，则确定性系统差分方程：)()2()1()(21nkyakyakyakyn++++)()2()1()(210mdkubdkubdkubdkubm++++上式模型，对输出y(k)是n阶差分，y(k)是最高阶、y(k-n)是最低阶。ia、ib：系数，0ia，0ib，是常数，则是定常系统，否则，是时变系统；d：输入最高阶u(k-d)低于输出最高阶y(k)的阶次，时延步数，1d。（2）差分算子表达式为简化模型描述，引入后向移位算子1q，代入上式得左差分算子表达式：)()()()(11kuqBqkyqAdnnqaqaqA+++1111)(mmqbqbbqB+++1101)()(1qA的阶n是差分算子表达式（差分方程）的阶，是求解差分方程所需的独立初始条件数。线性系统差分方程模型：ARMA（3）ARMA模型自回归滑动平均模型，将系统现时kT的输出y(k)由过去输入与输出的线性组合表示：)(kyniimiiikyaidkub10)()(或)()()()()()()(1111dkuqAqBkuqAqBqkyd第一式为ARMA模型：右边第2项为输出y(k)的过去值组合称自回归部分；第1项为输入u(k)的过去值组合称滑动平均部分。设系统输入：0,00,1)(kkk系统的输出脉冲序列h(k)称脉冲响应。系统输出：kjjkhjukhkuky0)()()()()(=kmmkumhkukh0)()()()(,jkm)(kh(a)系统)(k线性离散系统线性系统脉冲响应模型定义：)()()()()(kuZkyZzUzYzP用迟后移位定理求Z变换，经整理得Z传递函数：dnnmmzzazazazbzbzbbzP++++++++2211221101)(ddniimiizzPzzszpb)()1()1(011110ip、is：系统在Z平面上的零、极点，有三种情况：单位圆内：稳定零点、稳定极点；单位圆外：不稳定零点、不稳定极点；单位圆上：邻界稳定零、极点，在工程上认为是不稳定的。线性系统Z传函模型若系统全部极点在单位圆内，则是稳定的：此时有界输入u(k)产生有界输出y(k)对于系统P(z)的每一初值，若每一有界输入都产生一有界输出，称系统是有界输入有界输出（BIBO）稳定的当kd时，图(a)、(b)、(c)是等价的以下等式成立：)()(0dkyky+或)()(0kydky(a))(ku)(ky)(zP)(ky(b))(0zPdz)(0ky(c))(dky)(0zPdz图3-4-3d阶时延系统)(0dky线性系统Z传函模型(续)为时域模型，由状态方程和输出方程组成：1kAkBkkCk++xxuyx线性系统离散状态空间表达式随机模型v为零均值不相关的随机噪声CARMA模型线性系统差分方程模型：随机系统)()()()(01kvidkubikyakymiinii++++piimiiniiikvcidkubikyaky001)()()()()(()()()(()(1111kvqAqCkuqAqBqkyd））+确定性系统NN辨识讨论SISO系统ARMA模型并联型串-并联型均取指标函数：学习算法：Tmdkudkudkunkykykyk)](),1(),();(ˆ),2(ˆ),1(ˆ[)(，hTmdkudkudkunkykykyk)](),1(),();(),2(),1([)(，h22),(ˆ)(21)(21),(kykykekJww)()()()()1(kkekkkhww++)()()()()()(kkkkykkThwhw+2)()(kkh确定性系统NN辨识——改进算法引入加权因子，此时可取则参数估计更新：如R(k)满足不正交，则无论w初值如何选，参数估值大范围一直渐进收敛12121[(1),(2),();(),(1),()]nTnnnmcykyckcykncukdcukdcukdm++++h，,01iic(1)()()()()kkRkekk++wwh11diag,,nmRkkcc++1221knmiiichk++ˆwθw线性系统NN辨识示例(1)演示随机系统NN辨识第一类h(k)和v(k)不相关；h(k)协方差阵为常数阵，且和w(k)不相关；输入噪声s(k)和h(k),v(k)统计独立；第二类h(k)和v(k)相关；第三类h(k)和v(k)相关,和w(k)相关；0)()(kvkhEi随机系统NN辨识对于第一类随机系统，且输入不含噪声时，可得到参数渐进无偏估计对于输入含噪声的第一类和第二类随机系统，只能得到有偏估计。改进算法(对含输入噪声的第一类随机系统)噪声模型则改进算法是无偏的)()()()()1(kkekkkhww++++2121,,diag)()(nmjikkEss)()()()()()1(kkekkkkhwΣIw+++线性系统NN辨识示例(2)演示非线性系统动态模型3-5-1非线性系统模型非线性系统与线性系统不同，没有一般的表达式，在此举出几种典型模型。1.单输入单输出（SISO）系统的差分方程M1ykgykyknukukm()[(),,();(),,()]11M2ykgykyknukukm()[(),,()][(),,()]+11M3ykgykyknukm()[(),()]()1M4ykaykiukukmiin()()[(),,()]+11M5ykgykyknbukiiim()[(),,()]()+11M1～M5设：（1）模型结构已知，即n、m已知；（2）u(k)、y(k)可量测；（3）对于紧集U上的系统输入u，输出y是一致有界的，即为BIBO系统。并联型结构用局部递归网络实现输出反馈网络由输出反馈网络实现，表达式：（PM1）ˆˆˆ()[(1),,();(1),,();]ykNgykyknukukmw（PM2）ˆˆˆ()[(1),,();][(1),,();]ykNgykyknNukukm+vw（PM3）ˆˆˆ()[(1),,();]()ykNgykyknukmv（PM4）1ˆˆ()()[(1),,();]niiykwykiNukukm+w（PM5）1ˆˆˆ()[(1),();]()miiykNgykyknwuki+v网络训练开始时，很难使其输出收敛于系统的输出，也可能不稳定。串-并联型结构神经非线性系统辨识，选用非线性特性的动态神经网络作为被辨识系统的模型。1.差分方程描述神经网络作辨识器，辨识M1~M5非线性系统，用并联或串—并联型，差分方程不同。（1）串—并联型结构表达式：（SPM1）ˆ()[(1),,();(1),,();]ykNgykyknukukmw（SPM2）ˆ()[(1),,();][(1),,();]ykNgykyknNukukm