一个神经网络控制系统的稳定性判据的方法

一个神经网络控制系统的稳定性判据的方法摘要：本文讨论了基于李雅普诺夫方法分析神经网络控制系统的稳定性。首先，文章指出神经网络系统的动态可以由视为线性微分包含（LDI）的一类非线性系统表示。其次，对于这类非线性系统的稳定条件是推导并利用单神经系统和反馈神经网络控制系统的稳定性分析。此外，用图形方式显示非线性系统参数位置的这种参数区域表示方法（PR）提出了通过引入新的顶点和最小值的概念。从这些概念上可以推导出一个能有效地找到李雅普诺夫函数的重要理论。单个神经的神经系统的稳定性标准时由参数区域来决定的。最后，分析了包括神经网络设备和神经网络控制器为代表的神经网络控制系统的稳定性。1.介绍最近，已经有很多关于神经网络的自适应控制的研究，例如:在机器人领域，川户提出了一种使用的学习控制系统，控制系统的一项关键指标就是他的稳定性，然而分析像基于神经网络的控制系统这样的非线性系统的稳定性是非常难的。Nguyen和Widrow设计了一种在电脑上模拟卡车拖车的神经网络控制器。这个设计主要分为两大部分。第一部分是通过神经网络来学习设备的动态，这一部分被称为“仿真器”。第二部分是通过最小化的性能函数来计算出神经网络网络控制器的参数（权值）。但是，他们没有分析神经网络控制系统的稳定性。一项稳定性分析标准工具讲有利于神经网络控制应用到许多实际问题中。最近，这类可被视为线性微分包含（LDI）的非线性系统的稳定条件已经被作者推导出来，再引用的[7][8]中讨论了。其中一项保证LDI稳定的充分条件与李雅普诺夫稳定性定理是相一致的。本文应用LDI的稳定条件和Nguyen与Widrow的方法来分析神经网络系统的稳定性。文中选取了一种代表神经网络状态的方法。此外，我们表明包含由近似于神经网络设备和神经网络控制器组成的神经网络反馈控制系统也可以分析神经网络是否能稳定。这意味着，本文提出的稳定条件可以分析神经网络反馈控制系统。本文的构成如下：第二节展示了一种文中的神经网络系统。第三节给出了LDI的稳定条件。第四节提出了一个以图形方式显示LDI参数的参数区域表示方法（PR）并推导出一个有效导出李雅普诺夫函数的重要定理。第五节阐述了神经网络系统的LDI表示方法。第六节介绍了用PR方法表示单神经系统和神经网络反馈系统的稳定标准。2.神经控制系统假设一个神经网络函数是x(k+I)=P(x(k)u,(k))，他的神经网络反馈控制系统的函数是：x(k+1)=P(x(k),u(k))和u(k)=C(x(k))，其中x(k)是实属范围内的状态向量，u(k)是实属范围内的输入向量。P和C分别表示神经网络设备和神经网络控制器的非线性传递函数。如图1，显示了一个单一的神经网络系统和神经网络反馈控制系统。假设每个神经元的输出函数f(u)都是可微分的，在k0的情况下，我们可以得到：f(0)=0,f(v)∈[-k,k]，对于所有的v都成立此外，假设所有的传递权重都已经被学习方法所确定了，例如反向传播神经网络在神经网络控制稳定性分析之前。在一个单一的神经网络系统中，因为我们分析神经网络系统的动态平衡稳定性，所以设定.u(k)=0。图1.神经网络：（a）单一神经网络，（b）反馈神经网络3.一类非线性系统的稳定条件让我们分析以下这类非线性系统1x(k+1)=((k))x(k),((k))=(())riiihkAzAzzA　　　　　（１）其中r是一个正实数，在z（k）是一个向量，同时：T12()[nxkxkxkxk（），（），…，（）]，1()~()nxkxk是状态变量。1(())((k))=1.riiihzkhz注3.1：像公式（1）代表的这类非线性系统我们可以把它看做LDI。大多数情况，对于LDI的特性，我们可以用代替(())ihzk，因此我们后面用()ihk()ihk来表示。这类系统还包含了在模糊控制领域中流行的Takagi和Sugeno的模型，所以下面的稳定性条件讨论也适用于模糊控制。下面给出了一个满足公示（1）的稳定条件。定理3.1：公式（1）描述的LDI的稳定平衡在大范围内渐进稳定的条件是存在一个通用正定矩阵满足：APTiiAP0　　　　　　（２）对于i=1,2，···，r成立。这个定理简化了李雅普诺夫稳定性定理对于r=1是的线性离散系统的情况。当然，定理3.1给出了一个是公式（1）的系统稳定的充分条件。我们可以直观的认为当所有的iA都是稳定矩阵，公式（1）的系统是全局稳定的。但是，一般情况下这是不正确的，因为公式（1）的系统不总是大范围渐进稳定的，即使所有的iA都是稳定矩阵。为了使公式（1）代表的系统稳定，我们必须找到一个通用矩阵P满足APTiiAP0，对于所有的i都成立。通过研究我们已经可以找到这样的通用正定矩阵P。接下来，我们就要给出这个满足公式（2）的正定矩阵P存在的必要条件。定理3.2；假设存在一个稳定矩阵矩阵iA，其中i=1,2，···，r。存在一个正定矩阵P使得APTiiAP0，对于所有i都成立，则iAAｊ为稳定矩阵，其中i，j=1,2，···，r，。反过来，这个定理说明：只要iAAｊ中存一个不是稳定矩阵，就不存在满足公示（2）的矩阵P。4.参数区域表示方法（PR）我们提出对于公示（1）系统的PR的概念。PR可以通过图表显示出LDI的参数。下面是两个例子。例4.1：让我们分析下面的LDI（LDI-1）31(1)()()iiikhkxkxA其中：31T123()1,0.10.10.30.10.10.3101010()()[()(1)],,,iiihhkkkxkxkxAAA　　.这个LDI系统也可以表示为：31)}1()(){()1(iiiikxbkxakhkx其中：a1=0.1，bl=0.1,a2=0.3,b2=0.1,a3=0.1,b3=0.3.图2显示了LDI的参数区域数值，其中其中点1，2，3分别代表了321AAA，，例4.2：让我们假设另一个LDI系统LDI-2，51)()()1(xiikkhkxAi,其中：,0115.015.0,012.02.0,013.01.0,011.03.0,011.01.0)],1()([)(,1)(,0)(543251AAAAAx1Tkxkxkkhkhiii　相似的,LSI可以等效为：51)}1()(){()1(iiiikxbkxakhkx,此时：a1=0.1,bl=0.1,a2=0.3,b2=0.1,a3=0.1,b3=0.3,a4=0.2,b4=0.2,a5=0.15,b5=0.15.这个LDI系统的区域参数表示如图3所示。我们发现，尽管图2和图3中区域参数的区域是相同的的，但是LDI-1和LDI-2区域参数是不同的。在图2中，每个点正好对应一个顶点。但是在图3中，点1，2，3构成了参数区域，而点4，5包含在区域内。注解4.1：在2*2的矩阵A中，PR一般是四维的，因为在每个这样的矩阵中都有四个要素，例如：iiiidcbaiAPR的例4.1和4.2是二维的，因为0d1cii，，对于所有的i都成立。下面定义顶点和最小单位。定义4.1（顶点）：图2中PR的顶点1，2，3就是被定义为顶点的321AAA，，。定义4.2（最小单位）：一个有且只有顶点的非线性系统被称为最小单位。明显的，前面的LDI-1是最小单位，LDI-2不是最小单位。下面，给出一个检查是否为最小单位系统的稳定性的重要定理。定理4.1：假设存在一个正定矩阵。如果APTiiAP0，其中i=1，2，…，r，那么**APTAP0，其中＝１．０，，riiiriiss11i*sAA证明过程已经在附录中给出。可以注意到*A并不是一个顶点矩阵。定理4.1指出LDI系统的稳定性可以通过对一个最小单位应用定理3.1而检验得出。3240.5AA5.0A32150.25A0.25A0.5AA因此，LDI-2的最小单位与LDI-1的相同。从定理4.1可以得出如果LDI-1稳定则LDI-2也稳定。后面将定理4.1应用到例子6.4和6.6中。5.神经网络的LDI表示方法A.简单的神经网络用LDI来表示神经网络系统的动力并应用定理3.1来分析神经网络的稳定性是非常重要的。在这一章节中，提出了用LDI表示神经网络动力系统的过程。接下里以图4中的简单神经网络为例。这个神经网络是由一个单一的层组成，函数是：　　　　　　（５）　　　（４）)()1(),1()(21vfkxkwkxwv其中21ww和是权值。假定输出函数f（v）是一个Sigmoid函数。1)exp(12)(qvvf其中q和x是函数的参数并且q和v0.图5表示的是sigmoid函数。在本文中，稳定性准则适用于一切x0的情况，于是假设x=1。如图5，输出函数满足：0)(0)(1221vvgvfvgvvgvfvg　　　　图2.LDI-1的参数区域其中21gg和分别是）（vf的最小值和最大值，所以：qvfgvfgvv/5.0)(max,0)(min21当.)()(dvvdfvf的时候。所以神经网络的输入输出关系可以被表示为如下的LDI：21212211))1()(()())()(()()1(iiikxwkxwgkhvgkhgkhvfkx　　　　其中满足0)(),(21khkh和1)()(21khkh。转换成矩阵表达形式，我们就得到：)6()()()1(21　　iiikxkhkAx其中满足21,1)(,0)(iiikhkhforallk01/5.0/5.001,010001],)1()([)(2221222111qwqwwgwgwgwgkxkxkiAAx1T公式（6）表明LDI表示方法是由vgvg21和两条直线插补来实现的。图6表示的是PR。在这个例子中，PR是一条直线。21AA和是顶点矩阵。LDI也可能表示多层神经网络的动态，这一点将在地六章讨论。B.有反馈的神经网络控制系统下面假设存在一个如图7所示包含pNN和CNN的有反馈的控制系统。pNN是由神经网络表示动态的对象，而CNN是控制器。这节中，我们发现反馈神经网络的动态也可以用LDI来表示。因此我们也可以用第三章中提到的稳定条件来分析反馈神经网络控制系统的稳定性。假设pNN和CNN被表示为一下形式：2111)8().(xf)()(u)7()},(uB)(xA){()1(xriiciriiipikkhkkkkhk　　　　　　　　　其中1)(,0)(,1)(,0)(2111riciciripipikhkhkhkh对于所有的k都成立。将公式（8）带入公式（7）中我们可以得到：)9()(xH)()()(x}fBA){()()1(x12121111　　　　　　　kkhkhkkhkhkijcjrirjpijiicjrirjpi图4.简单神经网络相同的，其中1)()(,0)()(1211khkhkhkhcjrirjpicjpi对于所有k都成立。因为公式（9）是一个LDI公式，如果我们能找一个像rjiTij,...,2,1,,0PPHHij的共同的正定矩阵，那么公式（9）表示的反馈神经网络系统是一个广义范围的渐进稳定。6.稳定性分析A.单一的神经网络系统首先来说明一下定理3.1对于神经网络系统的稳定性分析。例6.1：假设存在一个图8表示的神经网络。由图8中，我们可以得到：)13().()1()12(),()()11(),()()10(),()(21211212212211211221121212111111　　　　　　　　　　　　　　vfkxvfwkxwvkxwkxwvkxwkxwv接着我们