人工神经网络及其应用(精)

人工神经网络及其应用第5讲Hopfield网络何建华电信系，华中科技大学2003年3月3日2020/4/292一、反馈网络二、Hopfield网络简介三、DHNN网络四、稳定性与应用五、内容小结内容安排2020/4/293反馈网络如何通过网络神经元状态的变迁而最终稳定于平衡状态，得到联想存储或优化计算的结果关心网络的稳定性问题研究重点为怎样得到和利用稳定的反馈网络要点2020/4/2941.1反馈网络简介1.2网络稳定性一、反馈网络2020/4/2951.1反馈网络简介反馈网络(RecurrentNetwork)，又称自联想记忆网络–其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈网络能表现出非线性动力学系统动态特性–网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；–系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中2020/4/2961.1反馈网络简介反馈网络分类–如果激活函数f(·)是一个二值型的硬函数，即ai＝sgn(ni)，i＝l,2,…r，则称此网络为离散型反馈网络；–如果f(·)为一个连续单调上升的有界函数，这类网络被称为连续型反馈网络2020/4/2971.2网络稳定性状态轨迹–设状态矢量N=[n1,n2,…，nr]，网络的输出矢量为A＝[a1，a2…，as]T–在一个r维状态空间上，可以用一条轨迹来描述状态变化情况–从初始值N(t0)出发，N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，这些在空间上的点组成的确定轨迹，是演化过程中所有可能状态的集合，我们称这个状态空间为相空间2020/4/2981.2网络稳定性状态轨迹–离散与连续轨迹2020/4/2991.2网络稳定性状态轨迹分类：对于不同的连接权值wij和输入Pj(i,j=1,2,…r)，反馈网络可能出现不同性质的状态轨迹–轨迹为稳定点–轨迹为极限环–轨迹为混沌现象–轨迹发散2020/4/29101.2网络稳定性稳定轨迹–状态轨迹从系统在t0时状态的初值N(t0)开始，经过一定的时间t(t＞0)后，到达N(t0+t)。如果N(t0+t+Δt)=N(t0+t)，Δt＞0，则状态N(t0+t)称为网络的稳定点，或平衡点–反馈网络从任一初始态P(0)开始运动，若存在某一有限时刻t，从t以后的网络状态不再发生变化（P(t+Δt)=P(t)，Δt＞0）则称网络是稳定的–处于稳定时的网络状态叫做稳定状态，又称为定吸引子2020/4/29111.2网络稳定性稳定点分类–在一个反馈网络中，存在很多稳定点–稳定点收敛域•渐近稳定点：在稳定点Ne周围的N(σ)区域内，从任一个初始状态N(t0)出发，当t→∞时都收敛于Ne，则称Ne为渐近稳定点•不稳定平衡点Nen：在某些特定的轨迹演化过程中，网络能够到达稳定点Nen，但对其它方向上任意小的区域N(σ)，不管N(σ)取多么小，其轨迹在时间t以后总是偏离Nen；–期望解•网络的解：如果网络最后稳定到设计人员期望的稳定点，且该稳定点又是渐近稳定点，那么这个点称为网络的解；•网络的伪稳定点：网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解2020/4/29121.2网络稳定性状态轨迹为极限环–在某些参数的情况下，状态N(t)的轨迹是一个圆，或一个环–状态N(t)沿着环重复旋转，永不停止，此时的输出A(t)也出现周期变化（即出现振荡）–如果在r种状态下循环变化，称其极限环为r–对于离散反馈网络，轨迹变化可能在两种状态下来回跳动，其极限环为22020/4/29131.2网络稳定性状态轨迹为混沌–如果状态N(t)的轨迹在某个确定的范围内运动，但既不重复，又不能停下来–状态变化为无穷多个，而轨迹也不能发散到无穷远，这种现象称为混沌(chaos)–出现混沌的情况下，系统输出变化为无穷多个，并且随时间推移不能趋向稳定，但又不发散2020/4/29141.2网络稳定性状态轨迹发散–状态N(t)的轨迹随时间一直延伸到无穷远。此时状态发散，系统的输出也发散–在人工神经网络中，由于输入、输出激活函数上一个有界函数，虽然状态N(t)是发散的，但其输出A(t)还是稳定的，而A（t）的稳定反过来又限制了状态的发散。–一般非线性人工神经网络中发散现象是不会发生的，除非神经元的输入输出激活函数是线性的2020/4/29151.3网络工作方式目前的反馈神经网络是利用稳定的特定轨迹来解决某些问题–如果视系统的稳定点为一个记忆，则从初始状态朝此稳定点移动的过程即为寻找该记忆的过程–状态的初始值可以认为是给定的有关该记忆的部分信息，状态N(t)移动的过程，是从部分信息去寻找全部信息，这就是联想记忆的过程–将系统的稳定点考虑为一个能量函数的极小点。在状态空间中，从初始状态N(t0)＝N(t0+t)，最后到达N*。若N*为稳定点，则可以看作是N*把N(t0)吸引了过去，在N(t0)时能量比较大，而吸引到N*时能量已为极小了2020/4/29161.3网络工作方式考虑具体应用，可以将能量的极小点作为一个优化目标函数的极小点，把状态变化的过程看成是优化某一个目标函数的过程因此反馈网络的状态移动的过程实际上是一种计算联想记忆或优化的过程。它的解并不需要真的去计算，只需要形成一类反馈神经网络，适当地设计网络权值wij，使其初始输入A(t0)向稳定吸引子状态移动就可以达到目的2020/4/29171.3网络工作方式权值设计目标–网络系统能够达到稳定收敛–设计网络的稳定点–设计吸引域2020/4/2918二、Hopfield网络简介2.1网络模型2.2DHNN2.3CHNN2.4联想记忆与优化计算2020/4/29192.1网络模型2020/4/29202.1网络模型分类–离散Hopfield网络（DHNN）–连续Hopfield网络（CHNN）DHNN中的激活函数CHNN中的激活函数2020/4/29212.2DHNNDHNN–取b＝0，wii＝0–权矩阵中有wij＝wji2020/4/29222.2DHNN–DHNN网络结构可以用一个加权元向量图表示2020/4/29232.3CHNN将霍普菲尔德网络推广到输入和输出都取连续数值的情形网络的基本结构不变，状态输出方程形式上也相同。则网络的状态转移方程可写为2020/4/29242.3CHNN神经元的激活函数f为S型的函数(或线性饱和函数）2020/4/29252.3CHNN神经元的激活函数f为S型的函数(或线性饱和函数）2020/4/29262.3CHNN电路实现–神经元模型（见参见教材）–电阻Ri和电容Ci并联，模拟生物神经元输出的时间常数–跨导Tij模拟神经元之间互连的突触特性–运算放大器模拟神经元的非线性特性–ui为第i个神经元的输入，Vi为输出网络模型2020/4/29272.3CHNN定义系统计算能量定理–推论系统的稳定平衡点就是能量函数E的极小点，反之亦然2020/4/29282.3CHNN定理–系统在状态空间中正交稳定平衡点的任意放置可以通过Tij的学习来实现增加存储与消除记忆–如果在已设计的系统中加入一个新的存储，只要修正Tij，新的存储的加入并不改变原有的存储，且与原存储无关2020/4/29292.4联想记忆与优化计算联想记忆问题–稳定状态已知并且通过学习和设计算法寻求合适的权值矩阵将稳定状态存储到网络中优化计算–权值矩阵W已知，目的为寻找具有最小能量E的稳定状态–主要工作为设计相应的W和能量函数公式2020/4/2930三、DHNN3.1神经元状态更新方式3.2网络学习3.3网络记忆容量3.4权值设计2020/4/29313.1状态更新由-1变为1；由1变为-1；状态保持不变串行异步方式–任意时刻随机地或确定性地选择网络中的一个神经元进行状态更新，而其余神经元的状态保持不变并行同步方式–任意时刻网络中部分神经元(比如同一层的神经元)的状态同时更新。如果任意时刻网络中全部神经元同时进行状态更新，那么称之为全并行同步方式2020/4/29323.1状态更新串行异步方式–任一时刻，网络中只有一个神经元被选择进行状态更新或保持，所以异步状态更新的网络从某一初态开始需经过多次更新状态后才可以达到某种稳态。–实现上容易，每个神经元有自己的状态更新时刻，不需要同步机制；–异步状态更新更接近实际的生物神经系统的表现并行同步方式2020/4/29333.2网络学习联想记忆–联想记忆功能是DHNN的一个重要应用范围。–DHNN用于联想记忆有两个突出的特点，即记忆是分布式的，而联想是动态的–反馈网络实现联想记忆必须具备的两个基本条件•网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息；•具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息学习目的–具有q个不同的输入样本组Pr×q＝[P1,P2…Pq]–通过学习方式调节计算有限的权值矩阵W–以每一组输入样本Pk，k=1，2，…，q作为系统的初始值–经过网络工作运行后，系统能收敛到各自输入样本矢量本身2020/4/29343.2网络学习DHNN中运用海布调节规则–海布法则是一种无指导的死记式学习算法–当神经元输入与输出节点的状态相同(即同时兴奋或抑制)时，从第j个到第i个神经元之间的连接强度则增强，否则减弱当k＝1时，对于第i个神经元，由海布学习规则可得网络权值对输入矢量的学习关系式为–其中，α＞0，i＝1，2…，r；j=1，2…，r。在实际学习规则的运用中，一般取α＝1或1/r2020/4/29353.2网络学习当k由1增加到2，直至q时，是在原有己设计出的权值的基础上，增加一个新量pjkpik，k＝2…,q对网络所有输入样本记忆权值的设计公式为–其中，α＞0，i＝1，2…，r；j=1，2…，r。在实际学习规则的运用中，一般取α＝1或1/r2020/4/29363.2网络学习向量形式表示α＝1时神经网络工具箱中采用海布公式求解网络权矩阵变化的函数为learnh.m和learnhd.m。后者为带有衰减学习速率的函数–dW＝1earnh(P，A，lr)–dW＝learnhd(W，P，A，lr，dr)；–对于简单的情况，lr可以选择1；对于复杂的应用，可取lr＝0.1~0.5，dr＝lr／32020/4/29373.2网络学习简单验证–q＝1，α＝l–求出的权值wij是否能够保证ai＝pi？–对于第i个输出节点，有2020/4/29383.3记忆容量设计DHNN网络的目的，是希望通过所设计的权值矩阵W储存多个期望模式当网络只记忆一个稳定模式时，该模式肯定被网络准确无误地记忆住，即所设计的W值一定能够满足正比于输入和输出矢量的乘积关系但当需要记忆的模式增多时，网络记忆可能出现问题–权值移动–交叉干扰2020/4/29393.3记忆容量权值移动–当k＝2时，为了记忆样本T2，需要在记忆了样本Tl的权值上加上对样本T2的记忆项T2T2T-I，将权值在原来值的基础上产生了移动–由于在学习样本T2时，权矩阵W是在已学习了T1的基础上进行修正的，W起始值不再为零，所以由此调整得出的新的W值，对记忆样本T2来说，也未必对所有的s个输出同时满足符号函数的条件，即难以保证网络对T2的精确的记忆–随着学习样本数k的增加，权值移动现象将进一步发生，当学习了第q个样本Tq后，权值又在前q-1个样本修正的基础上产生了移动，这也是网络在精确的学习了第一个样本后的第q-1次移动–对已记忆的样本发生遗忘，这种现象被称为“疲劳”2020/4/29403.3记忆容量交叉干扰–设输入矢量P维数为r×q，取α=1/r。Pk∈{-1，1}，所以pik*pjk＝pjk*pjk＝1。当网络某个矢量Pl，l∈[1,q]，作为网络的输入矢量时，可得网络的加权输入和nil为–上式右边中第一项为期望记忆的样本，而第二项则是当网络学习多个样本时，在回忆阶段即