神经网络第三章

第3章神经控制中的系统辨识3.1系统辨识过程中神经网络的作用3.2非线性动态系统辨识3.3多层前向网络辨识中的快速算法3.4非线性模型的预报误差神经网络辨识3.5非线性系统逆模型的神经网络辨识3.6线性连续动态系统辨识的参数估计3.7利用神经网络联想功能的辨识系统3.7小结习题与思考题3.1辨识模型辨识模型只是被测系统在一定环境下的近似描述，选择只能在以下情况中确定：是选择静态模型，还是选择动态模型？是选择参数模型，还是选择非参数模型？必须考虑：1)模型的用途；(2)被测对象的精确度与复杂程度；(3)系统的控制方式，是自适应控制还是实时控制；(4)使用神经网络，可以选择三层网络通过仿真比对完成，当前神经网络理论尚未明确指出需要几个隐层节点数才能模拟出系统。一、使用参数模型辨识的方法从输入输出数据中提取被测系统S的数学模型M，使下式成立：‖Ym－Yo‖=‖M(u)－S(u)‖≤ε式中Ym、Yo分别是系统输入u作用下模型和系统的输出。ε为预设的辨识精度。设e=Ym－Yo，则辨识准则omminminYYeff二、使用非参数模型辨识的方法无需事先确定模型的具体结构，只需要知道运行过程为线性。这一类模型有阶跃响应、脉冲响应、频率特性三、人工神经网络用于系统辨识用神经网络构成辨识模型，辨识方法就是用神经网络辨识模型逼近被测系统。用作辨识模型的神经网络通常有多层感知器、BP网络、Hopfield网络等。四、辨识系统的输入和输出被测系统与辨识模型使用相同的输入信号。输入信号满足条件1、辨识时间内的输入信号必须持续激励，充分激励系统的所有模态，输入信号的频谱必须足够覆盖系统的频谱；2、输入信号要求最优化。辨识系统常用的输入信号有伪随机序列或白噪声。辨识系统的输出是系统的误差。在确定系统误差时，选择误差准则，用来衡量辨识模型接近被测系统的程度。四、误差准则函数的泛函表示MkkefJ1f(·)用得较多的是平方函数：f［e(k)］=e2(k)e(k)是误差函数，定义区间为［0，M］，是辨识模型的输出与被测系统的输出之差。如果e(k)=0，则说明被测系统与辨识模型等价。3.2系统辨识过程中神经网络的作用3.2.1神经网络辨识原理一、系统辨识实质上是一个优化问题，优化准则依靠辨识目的、辨识算法的复杂程度进行选择。二、辨识方法基于算法的辨识方法，适用于线性系统；基于神经网络的辨识方法，适用于非线性系统。1.基于算法的辨识方法要求建立一个模型，该模型依赖于某个参数θ，把辨识转化成了对模型参数的估计。1)最小二乘法利用最小二乘法原理，通过极小化广义误差的二次方和函数来确定模型的参数。例如一个线性系统模型，在经过一系列的数学变换后转换成最小二乘格式：z(k)=hT(k)θ+e(k)hT(k)是系统的广义输入，内含原系统输入u(k)和原系统输出y(k)；e(k)是系统的广义噪声。2)梯度校正法沿着误差准则函数关于模型参数的负梯度方向，逐步修改模型的参数估计值，直到误差准则函数达到最小。3)极大似然法极大似然法通过极大化似然函数来确定模型参数。最小二乘法辨识系统2.基于神经网络的辨识方法人工神经网络辨识那些非线性系统，不需预先知道被测系统的模型。辨识并不在意神经网络以什么形式去逼近实际系统，只关心神经网络的输出与被辨识系统的输出相差多少，误差e(k)能否为0。从辨识的角度出发，只要e(k)小于某一个事先认可的值，对被辨识系统的辨识任务告一段落。3、神经网络的辨识方法的特点：(1)辨识器由神经网络构成，被辨识对象允许是本质上不能线性化的非线性系统；(2)辨识过程非算法式，由神经网络的训练来实施。辨识结果是网络外部特性拟合系统的输入输出特性，网络内部特性归纳隐藏在输入输出数据中；(3)辨识之前无须对被辨识系统建模，神经网络辨识器的权值反映了被辨识对象的可调参数；(4)辨识过程是否收敛以及收敛速度仅取决于神经网络的结构及其算法，与被辨识系统及其维数无关，有别于与模型参数的维数密切相关的传统算法；(5)神经网络可用于在线控制；(6)神经网络连接权的权值在辨识中对应于模型参数，只要调节这些参数，就能使网络输出逼近系统输出。3.2.2多层前向网络的辨识能力1.三层前向网络的逼近能力仅含一个隐层的三层前向网络可以逼近某个函数。,,,;:1TnjjnjjgnRWRvRXWXvXRRg设输入层有n个节点，能接纳n个输入xi(i=1，2，3，…，n)，隐层有q个节点vj(j=1，2，3，…，q)，输出层仅有一个节点。网络的输入矢量为X，输入层到隐层第j个神经元的连接权值矢量用Wj表示，网络的输出为单输出，用y表示。qj,...,2,1σ(·)是隐层节点的作用函数。给定函数空间S、映射p，若函数f，g，h∈S，且满足：(1)p(f，g)≥0，且仅当f=g时取等号，具有正定性；(2)p(f，g)=p(g，f)，具有对称性；(3)三角不等式p(f，g)≤p(f，h)+p(h，g)成立。(s，p)为赋范空间，映射p称为距离函数或范数。如果URn是n维单位立方体，C(U)是定义在U上的所有连续函数f(X)的集合，定义范数p=sup|f(X)|定理1若神经元特性σ(t)是连续函数，且函数f(x)不仅限于连续函数，f(x)是一个非连续函数时定理仍然成立，只要求f(x)在［－1，1］上有定义，且满足平方可积条件。利用傅里叶积分将f(x)展开成傅里叶级数——若干个连续函数之和，对每一连续函数，定理1均成立。设f(x)连续，且在连续点处，有限次级数和的三角级数形式为Nkkkkxbkxaaf,x,NF10π2sinπ2cos2问题推广到n维(n＞1)，定义矢量的绝对值为其各分量的最大绝对值，在单位空间中定义下列积分:＜xXfUd2其中将函数f(x)的集合记为L2(U)。定义范数2122d,UxXfgfp则下列定理成立:定理2若神经元特性σ(t)是阈值特性，那么∑(σ)在L2(U)中是p稠f∈L2(U)及ε0g(X)，使得＜xXfXgUd2三层前向网络能以任意精度逼近任意连续函数、任意非连续函数及其各阶导数(如果存在导数)。这一性质能用于动态系统辨识，要求神经网络具备逼近各阶导数的能力。2.多层前向网络的基本结构1）静态网络的典型例子就是BP网络，该网络的三个特征是多层次结构、S型神经元及反向传播算法(BackPropogation)。静态网络已在模式识别、系统识别、图像处理等方面受到较大的关注。2）动态多层前向网络回归网络是一种动态网络，它的结构特点存在反馈。或用一段时间内的均方误差值iikeTJ2211T选用适宜的一个正整数，并要求输入模式为动态信号。设网络的全部可调参数(例如连接权值和阈值)的集合用Θ表示，网络的当前参数为θ，θ∈Θ，▽J为当前时刻指标函数的梯度，由BP算法知当前参数增量Δθ与梯度成正比：Δθ=－η▽J比值η是学习速率或步长。(1)图(a)，有vzWkye式中，用W(z)表示一个动态系统，只需要用BP算法静态计算。设网络期望输出为vv2q414uuzWkyW(z)是一个特定的脉冲传递标量函数。选取多层网N的结构为四层：输入层1个节点，第一隐层20个节点，第二隐层10个节点，输出层1个节点。用多层网N逼近:22414uuuf逼近过程中W(z)可能有三种情况出现：第一种，取W(z)是纯滞后q步的线性系统，传递函数W(z)=z－q，计算并时延q步得当前值。如取q=5,训练指标用J1，η=0.1时训练50000步可得较好效果。训练指标用J2，η=0.2时训练50000步得相同结果。第二种，取W(z)是有限脉冲响应模型(FIRM)，传递函数W(z)=∑aiz－1。如设vvvW(z)=0.1z－1+1.0z－2+0.5z－3训练指标用J2，每三步调整一次参数(T=3)，η=0.01时训练50000次后N与f基本相同。第三种，取W(z)是稳定的有限传递函数，且能用参数模型描述，如描述模型用ARMA模型。取21215950150180z.z.z.zW(z)训练指标用J1，η=0.005时训练10万次，发现y与yq仍有差别。训练指标改用J2，η=0.005时训练10万次，取T=5，最终效果较好。(2)对图(b)，多层前向网络的映射有两个，现分别确定。对于N1网络映射，用静态BP算法计算，其中θ是N1的参数。对于N2网络映射，使用静态BP和，求得yvyvvvyy或写成zgzWfyq其中，f［·］代表了非线性的关系，有此函数关系的非线性系统均可以用神经网络来逼近。尽管如此，也不能简单地认为：N1能训练成f［·］，N2能训练成g(u)。用例说明，设N1是结构为1×20×10×1的单输入单输出系统，取212115.08.013.0)(zzzzzW23414uuug35.3][xxf训练用的输入信号是分布在［－2，2］之间的随机信号。训练好以后，实际输出y与期望输出yq之间无多大的差别。(3)图(c)是当前点上取值的Jacobian矩阵矢量，它们能够在每一时刻求得，成为以下线性差分方程的系数矩阵矢量vvNvNvNyzWvvNy是n维矢量，系统传递函数W(z)产生延时作用。如果离散系统通过零阶保持器采样，W(z)至少有一步时延效应，使得W(z)总只包括当前时刻前的值。yyyyy(4)图(d)，N1可用与图(c)相同的线性差分方程计算出来，N2则有yvNyzWvvNy21仿真结果表明这种动态BP算法能使网络较好地跟踪期望输出。动态反向传播算法比静态反向传播算法复杂得多，导致这种算法存在诸多缺点，其中突出的有两个缺点：一个是必须假设系统可以分成线性系统和非线性系统；另一个是需要已知线性系统的传递函数。3.2.3辨识系统中的非线性模型神经网络作系统辨识，主要用于非线性辨识和自适应。非线性系统在能控性、能观性、负反馈调节、状态观测器设计等方面，还没有成熟的做法，难度是非线性系统的辨识模型和控制模型不易选取。为此，用神经网络辨识非线性系统，必须作一些假设限制：(1)被控对象具有能控能观性；(2)对所有可能的输入控制量u，被控对象的输出y存在并有界；(3)在辨识模型中的神经网络允许一个或几个，选用的结构同于被控对象；(4)辨识模型的基本结构为包含神经网络的串—并联结构。以上第(1)、(2)条限制是为了保证整个系统的稳定性及可辨性；第(3)条限制是为了方便选择模型，简化数学处理过程；第(4)条限制源于串—并联结构有以下优点：①由于被控对象的输出y存在并有界，那么串—并联模型中所有用作辨识的信号均有界，使辨识模型易于稳定；②串—并联模型无反馈网络，使从后向前的静态反向传播算法成为可能；③当辨识误差足够小时，不使用串—并联结构，只使用并联结构也能有好的效果。在上述四种假设限制下，能够写出常用的一些非线性典型模型，现举例如下：第一种，这种模型的输出—输入关系为10111niimk，u，k，ukugkyakyn=2，m=0时的并联结构和串—并联结构如图4-6所示。第二种，miiikubnk，y，k，ykyfky011第三种，mk，u，k，ukugnk，y，k，ykyfky111并联及串—并联模型(a)n=2，m=0时的并联模型；(b)n=2，m=0时的串—并联模型第四种，y(k+1)=f(y(k)，y(k－1)，…，y(k－n))，u(k)，u(k－1)，…，u(k