第3章神经网络控制续-2010-2011

《智能控制》讲义郭兴旺北航机械学院2007-20092(上接ppt,“离散Hopfield网络”)3.连接权的设计为保证H网收敛，要求W有如下特点：a.保证异步工作方式收敛时，W应对称。（一般只保证此条件）b.保证同步工作方式收敛时，W应非负定对称。（b比a要求高）另外，对给定样本的要求是：“样本必须是网络的吸引子，而且要有一定的吸引域”，这样才能实现联想记忆功能。为实现上述功能，通常采用Hebb规则设计连接权。Hebb学习规则：调整ijw的原则为，若第i和第j个神经元同时处于兴奋（或同时抑制）状态，则它们之间的连接权应加强，即0,jiijxxw。这一规则与条件反射学说一致，并已得到神经细胞学说的证实。设给定m个样本),,2,1()(mkXk,并设nX}1,1{(元素取值为-1或1的n维向量)，则jijixxwmkkjkiij01)()(或00)0(,,2,1)1()()()(iiijkjkiijijwwmkxxkwkw（权的调整规则）写成矩阵形式为3(1)(2)(1)(2)()()()()()()11[](()(TTmmTmmkkTkkTkkXXWXXXmIXXXmIXXIa为使对角线元素为零）为nn对称阵，满足条件）当网络结点状态为1和0两种状态即nX}1,0{时，求权的算式需作修改（见孙P144,以)()(12kikixx代替，)()(12kjkjxx代替，相当于作[0，1]到[-1，1]的映射）。以上设计的W满足对称性的要求。下面分析所给样本是否为网络的吸引子。（1）若m个样本两两正交，即nXXjiXXiTijTi)()()()(0则有()()()()()()()()()()()11()()()()()()()()()[]mmkiiTkiiTkkkkkiiiiTkkkTkkWXXXmIXXXXmXnXmXnmXXXXXXXXn解释：第i=k项，因正交，只要满足n-m0，便有)()()(])[()(kkkXXmnfWXf（对符号函数，0,1)]1([f）即)(kX是网络的吸引子。（n—结点数,足够多，m—样本（吸引子）数，有限。对4个结点的网络，样本（吸引子）数最多为3）。（2）若m个样本不是两两正交，且设向量之间的内积为：()(),(1,2,,)iTjijiiXXnim显然则有4()()()()()()()11()(3.1)mmkiiTkkkiikiiikWXXXXmXnmXX(解释：先划出i=k项：)()()()()()(kkkkkkTkknXnXXXXX，其余项为：ikmkiiimkiikTiiXXXX1)(1)()()(）取其中第j个元素ikmkiiijkjjkxxmnWX1)()()()(][若能使得j有ikmkiiijxmn1)(（3.2）（此时()()()()[]([])kkkkjjjjWxxfWxx的符号同，从而，j）则)(kX是网络的吸引子。又由于(放大)mkiimikikmkiiijmx11)()1(，其中maxikm进而若能使mmmn)1(（则3.2式一定成立），即5mmnm1(第1种条件式)（对样本数或吸引子数的限定）则可保证所有样本为网络的吸引子。若m个样本满足nXXdnjiH)1(),()()([含有有百分之多少（%100）的元素不同之意]其中5.00,,,,2,1,jimji，则有mijnn2(C)[解释：内积()()()()[[()2,ijijijHHHHXXXXnddnddn与相同元素个数]与不同元素个数]取最小值时即前式,放到了最大]从而m个样本均为网络吸引子的条件为)21(1)1(2nnm(第2种条件式)[由(C)代入（第1种条件式）得]此式为充分条件（并非必要条件）。不满足此条件时，需具体检验才能确定样本是否为吸引子。讨论m就是讨论能记忆多少个状态（吸引子）。4.记忆容量记忆容量——在网络结构参数一定的条件下，要保证联想功能的实现，网络所能存储的最大样本数（有一定的吸引域的吸引子的个数）。6也就是说，给定网络结点数n，样本数最大可为多少，这些样本向量不仅本身应为网络的吸引子，而且应有一定的吸引域，这样才能实现联想记忆的功能。记忆容量与下列因素有关：（1）结点数；（2）连接权的设计；（3）样本的性质（正交，随机）；（4）吸引域的大小。对于用Hebb规则设计连接权的网络，如果输入样本是正交的，则可获得最大的记忆容量。一个样本向量)(kX的吸引域可看成是以该向量为中心的球体。在该球体中的向量)(sX满足)5.00(),()()(nXXdksH称为吸引半径（不相同元素的个数占总数的比例——Guo）。对给定的网络，严格确定其记忆容量并不是一件很容易的事情。Hopfield曾提出了一个数量范围，即nm15.0连接权的常用设计方法法（1）样本正交法（孙P145），如前所述法（2）一种实用的设计方法：奇异值分解法,其好处是不要求样本两两正交。（孙P146，浏览）5．举例（孙P147）设离散H网的结构如图，其中n=4,所有阈值为0，样本数m=2,两个7样本为(1)(2)11111111xx目的：（1）理解样本为网络吸引子的条件；（2）理解吸引子、收敛、联想记忆的含义；（3）理解弱吸引的含义；（4）理解异步、同步工作方式的过程；（5）理解权矩阵的设计，自持振荡的概念。分析：黑板上讲按Hebb规则求连接权矩阵：(1)(1)(2)(2)02222022222022220TTIW=xxxx这两个样本不满足均为网络吸引子的充分条件，但代入吸引子定义式检验知：(1)(1)(2)(2)61616161,f(Wx)=f==xf(Wx)=x说明它们都是吸引子。下面考察它们是否有一定的吸引能力。8(1)(3)(1)1111(0)1(1)1111设,调第分量得x=xx=x经一步调整就收敛到了x(1).(2)(4)(2)1111(0)1(1)1111设,调第分量得x=xx=x经一步调整就收敛到了x(2).(3)设x(0)与样本的海明距离均为2，(5)(2)1111(0)1(1)111111(2)11,调第分量得,调第2分量得x=xxxx经2步调整收敛到了x(2).若按3,4,1,2的次序调整，则经2步调整将收敛x(1).从上面看出，对于不同的调整次序,x(5)既可弱收敛到x(1)也可弱收敛到9x(2).下面再按同步方式计算，（1）(3)1111(0)1(1)((0))111111(2)((1))11fWfW,调次得,调2次得x=xxxxx收敛到了x(1).（2）(4)1111(0)1(1)((0))111111(2)((1))11fWfW,调次得,调2次得x=xxxxx收敛到了x(2).（3）10(5)1111(0)1(1)((0))111111(2)((1))11fWfW,调次得,调2次得x=xxxxx经2步调整又回到了出发点。有周期为2的极限环（自持振荡）。[自持振荡（自激振动）在相平面内的相轨迹是孤立的封闭曲线，称作相平面的极限环]3.3.2连续Hopfield网络1.网络的结构和工作方式仍是单层反馈网络（同前），每个结点的工作方式为)(11iiiiinjijijiyfxsydtdyxws这里同样假定jiijww。与离散H相比的特点：（1）多了中间的一阶微分方程，相当于一个惯性环节（is为输入，iy为输出，对应传递函数为1)(ssH）；对离散H网，中间式子也可看成为iisy。11（2）输出变换函数不再是二值函数，而一般取S形函数。当)1,1(ix时，取（双极性S型，双曲函数，双曲正切1tanh()2iy）：iiyyiieeyfx11)(当)1,0(ix时，取（S型函数）iyiieyfx11)(Hopfield利用模拟电路设计了一个连续Hopfield网络的电路模型，其中由运放实现的一个结点的模型如图3.15所示。(P151)f(·)RiIiV1V2VnRi1Ri2RinCiViAuiR图3.15连续H网第i个结点的电路模型（有自反馈）电路方程为：1(()njiiiiijiijiiVuduuCIAdtRRVfu点流出电流和流入电流和）12)(111'iinjiijiijiiiiufVCIVCRuCRdtdu其中njijiiRRR1'111若令iiiiijijiiiiiiCICRwCRuyVx,1,,,'则上式化为)()(11iiinjijijiiiyfxsxwydtdy后二项即iiw可以不为零，即有自反馈，这点与离散型不同。连续H网实质上是一个连续的非线性动力学系统，可用一组非线性微分方程来描述。当给定初态(0)(1,2,,)ixin，通过求解非线性微分方程组即可求得网络的运动轨迹。若系统是稳定的，则它最终可收敛到一个稳定状态。求解过程可用电路自动完成。2.稳定性（稳定性的讨论要借助能量函数，关于网络状态X的函数，是标量）定义连续H网的能量函数为13nixiTTninixiiijninjiijiidfXWXXdfxxxwE101110111)(121)(121连续H网和离散H网的能量函数是统一的，对离散H网，由于f(·)是二值函数，所以第三项积分为零。由于)1,1(ix或)1,0(ix，因此上述E是有界的。因此只需证明0dtdE即可说明系统是稳定的。证(见孙P151)：niiidtdxxEdtdE1dtdyyxwxfxwxEiiiinjjijiiinjjiji1)(1111，（参：变换函数，节点工作前1式）0])([)()(1211niiiiniiiiiniiidtdxdxdydtdxdtdxdxdydtdxdtdydtdE（参：S型函数的反函数单调上升）3.求解TSP问题连续H网的稳定点就是能量函数E的极小点。所谓优化计算就是求目标函数的最小值点。如果把优化的目标函数当作连续H网的能量函数E看待，则优化计算问题即可转化为求连续H网的能量函数E的极小点（稳定点）问题。因此连续H网可用来进行优化计算。其思路是：根据优化目标的要求和约束条件，构造优化目标函数E，把E看成H网的能量函数，令14iixEdtdy（可由E的表达式和结点工作方式的前二个式子推出，见孙p152上）展开，推出标准的H网络形式：)()(11iiinjijijiiiyfxsxwydtdy后二项即运行该网络，其稳态解即为优化解。构造E时，注意要包含H网本身要求的积分项。TSP（TravellingSalesmanProblem）问题：推销员要到n个城市去推销