53反馈神经网络

1智能控制ShanghaiUniversity,Shanghai,P.R.China5.人工神经网络及其在控制中的应用25-3.反馈神经网络ShanghaiUniversity,Shanghai,P.R.China智能控制5.人工神经网络及其在控制中的应用5.3反馈人工神经网络5.3.1反馈神经网络概述5.3.3连续Hopfield反馈神经网络5.3.2离散Hopfield反馈神经网络5.3.4BAM反馈神经网络5.3反馈人工神经网络5.3.1反馈神经网络概述5.3.3连续Hopfield反馈神经网络5.3.2离散Hopfield反馈神经网络5.3.4BAM反馈神经网络在神经网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。5.3.1反馈神经网络概述什么是反馈神经网络?从系统的观点看，反馈神经网络模型是一个反馈动力学系统，它具有极复杂的动力学特性。反馈神经网络的特点?5.3.1反馈神经网络概述反馈网络具有若干个稳定状态。当网络从某一初始状态开始运动，网络总可以收敛到某一个稳定的平衡状态从系统的观点看，反馈神经网络模型是一个反馈动力学系统，它具有极复杂的动力学特性。反馈神经网络的特点?5.3.1反馈神经网络概述系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中uy前馈神经网络反馈神经网络()()()ythtut()()()()()()()()xtftxtgtutythtxt非线性静态映射非线性动力学系统5.3.1反馈神经网络概述反馈神经网络vs前馈神经网络uy前馈神经网络反馈神经网络通过学习得到连接权系数运行网络得到稳定状态5.3.1反馈神经网络概述反馈神经网络vs前馈神经网络uy前馈神经网络反馈神经网络常见的权值学习算法：误差修正算法（BP算法）常见的权值设计算法：海布(Hebb)算法5.3.1反馈神经网络概述反馈神经网络vs前馈神经网络uy前馈神经网络反馈神经网络主要应用：联想映射及分类主要应用：联想记忆与优化计算5.3.1反馈神经网络概述反馈神经网络vs前馈神经网络联想记忆是指当网络输入某个矢量后，网络经过反馈演化，从网络输出端得到另一个矢量，这样输出矢量就称作网络从初始输入矢量联想得到的一个稳定记忆，即网络的一个平衡点5.3.1反馈神经网络概述优化计算当某一问题存在多种解法时，可以设计一个目标函数，然后寻求满足这一目标函数的最优解法。例如，在很多情况下可以把能量函数作为目标函数，得到的最优解法需要使能量函数达到极小点，即能量函数的稳定平衡点联想记忆&优化计算反馈神经网络的分析问题：判断给定网络的稳定性判断给定网络的稳定区域求取给定网络的平衡状态反馈神经网络的综合问题：网络的结构设计网络的权值设计5.3.1反馈神经网络概述关于反馈神经网络的重点研究内容5.3反馈人工神经网络5.3.1反馈神经网络概述5.3.3连续Hopfield反馈神经网络5.3.2离散Hopfield反馈神经网络5.3.4BAM反馈神经网络July15,1933Chicago,Illinois,USAPrincetonUniversityUniversityofCalifornia,BerkeleyCaliforniaInstituteofTechnology5.3.2离散Hopfield反馈神经网络JohnJosephHopfieldx1x3x2y1y3y2w11w12w13w21w23w31w22w33w32神经元的输出值y1,y2,y3为离散值1和0分别表示神经元处于兴奋和抑制状态三个神经元组成的DHNN5.3.2离散Hopfield反馈神经网络离散Hopfield网络的结构x1x3x2y1y3y2w11w12w13w21w23w31w22w33w32第0层仅仅是作为网络的输入,它不是实际神经元,所以无计算功能三个神经元组成的DHNN5.3.2离散Hopfield反馈神经网络离散Hopfield网络的结构x1x3x2y1y3y2w11w12w13w21w23w31w22w33w32第一层是实际神经元,故而执行对输入信息和权系数乘积求累加和,并由非线性函数f处理后产生输出信息.三个神经元组成的DHNNni,jiji1y=f(u)=sgn(u)sgn(wyx)j5.3.2离散Hopfield反馈神经网络离散Hopfield网络的结构x1x3x2y1y3y2w11w12w13w21w23w31w22w33w32第一层是实际神经元,故而执行对输入信息和权系数乘积求累加和,并由非线性函数f处理后产生输出信息.三个神经元组成的DHNN5.3.2离散Hopfield反馈神经网络离散Hopfield网络的结构x1x3x2y1y3y2w11w12w13w21w23w31w22w33w32三个神经元组成的DHNN000010001111011110100101三神经元输出层的状态y(t)=[y1(t),y2(t),...,yn(t)]TDHNN,其网络状态是输出神经元信息的集合(向量)5.3.2离散Hopfield反馈神经网络离散Hopfield网络的结构当wi,j在i=j时等于0,则说明一个神经元的输出并不会反馈到它自己的输入.5.3.2离散Hopfield反馈神经网络无自反馈vs有自反馈离散Hopfield网络无自反馈网络当wi,j在i=j时不等于0,则说明—个神经元的输出会反馈到它自己的输入.有自反馈网络在时刻t时,只有某一个神经元j的状态产生变化,而其它n-1个神经元的状态不变这时称串行工作方式.并且有5.3.2离散Hopfield反馈神经网络串行运行方式vs并行运行方式串行（异步）方式ni,jiji1(1)(()x),(1)(),jjjjytfwytjiytytji在不考虑外部输入时,则有ni,jii1(1)(()),(1)(),jjjjytfwytjiytytji在时刻t时,网络中任意一个神经元的状态都可能产生变化,并且有5.3.2离散Hopfield反馈神经网络串行运行方式vs并行运行方式并行（同步）方式在不考虑外部输入时,则有ni,jiji1(1)(()x),1,2,...,jjytfwytjnni,jii1(1)(()),1,2,...,jjytfwytjn稳定性对于DHNN,其状态为y(t)=[y1(t),y2(t),...,yn(t)]T,如果经有限时刻t,对于任何t0,都有有:y(t+t)=y(t)，则称网络是稳定的.吸引子：若y(t)是网络的稳定状态，则称y(t)是网络的稳定吸引子。吸引域：能够稳定在吸引子y(t)的所有初始状态y(0)的集合，称为吸引子y(t)的吸引域。5.3.2离散Hopfield反馈神经网络离散Hopfield网络的稳定性分析定理(Coben,Grossberg.1983)给定一个DHNN，如果其权系数矩阵W是一个对称矩阵,并且对角线元素为0(即：i=j时,Wij=0；ij时,Wij=Wji).则这个（无自反馈）的DHNN是稳定的.证明：基于Lypunov理论的DHNN稳定性分析方法1.构造如下形式的Lypunov能量函数nnnni,jijjjjji1j1j1j1ni,jijjjjj1i11E(k)-wy(k)y(k)-x(k)y(k)θy(k)21wy(k)y(k)-x(k)y(k)θy(k)2nj5.3.2离散Hopfield反馈神经网络离散Hopfield网络的稳定性分析2.分析其在串行运行方式下的能量函数的变化规律证明：基于Lypunov理论的DHNN稳定性分析方法1.构造如下形式的Lypunov能量函数nnnni,jijjjjji1j1j1j1ni,jijjjjj1i11E(k)-wy(k)y(k)-x(k)y(k)θy(k)21wy(k)y(k)-x(k)y(k)θy(k)2njnni,jj,iijjji,jijjji1i1netnetnetjjjjjj(1)()(1)()1-(ww)y(k)-x()θΔy(k)=wy(t)-xθΔy(t)2y(t)y(t+1)y(t)y(t)fy(t)y(t)jjEkEkEkEkk5.3.2离散Hopfield反馈神经网络离散Hopfield网络的稳定性分析2.分析其在串行运行方式下的能量函数的变化规律证明：基于Lypunov理论的DHNN稳定性分析方法netjjnetnetjjjnetjjy(t)00,y(t)1-y(t)fy(t)y(t)y(t)0,y(t)0ififif5.3.2离散Hopfield反馈神经网络nni,jj,iijjji,jijjji1i1netnetnetjjjjjj(1)()(1)()1-(ww)y(k)-x()θΔy(k)=wy(t)-xθΔy(t)2y(t)y(t+1)y(t)y(t)fy(t)y(t)0jjEkEkEkEkk离散Hopfield网络的稳定性分析2.分析其在串行运行方式下的能量函数的变化规律证明：基于Lypunov理论的DHNN稳定性分析方法netjnetjjnetnetjjjjy(t)0y(t)0,y(t)1-y(t)fy(t)y(t)0,y(t)0ififif5.3.2离散Hopfield反馈神经网络nni,jj,iijjji,jijjji1i1netnetnetjjjjjj(1)()(1)()1-(ww)y(k)-x()θΔy(k)=wy(t)-xθΔy(t)2y(t)y(t+1)y(t)y(t)fy(t)y(t)0jjEkEkEkEkk离散Hopfield网络的稳定性分析证明：基于Lypunov理论的DHNN稳定性分析方法j1ΔEΔE(t)0nj3.分析其在并行运行方式下的能量函数的变化规律5.3.2离散Hopfield反馈神经网络离散Hopfield网络的稳定性分析.3,0,5,3,2,13213223311321125.3.2离散Hopfield反馈神经网络离散Hopfield网络的稳定性分析模型各状态能量表y1y2y3E0000001301000116100-5101-4110-6111-2例.考虑一个3神经元的DHNN5.3.2离散Hopfield反馈神经网络离散Hopfield网络的稳定性分析5.3.2离散Hopfield反馈神经网络离散Hopfield网络的应用和设计联想记忆模型作为人工神经网络研究的一个重要分支,具有信息分布式存储和内容可寻址访问的重要特点,能模拟人脑简单的思维功能,通过联想回忆出不完整的输入,特别适用于处理含噪和不确定的信息,因此在内容可寻址存储、智能搜索和检索、优化计算、纠错编码、智能控制、图像压缩、模式识别和知识推理等方面获得了极为广泛的应用联想记忆5.3.2离散Hopfield反馈神经网络离散Hopfield网络的应用和设计在联想过程中，先给出原始模式m0，使网络处于某种初始状态m0下，用网络方程动态运行，最后到达一个稳定状态。如果此稳定状态对应于已存储的M个模式中的某个模式mk,则称模式mk是由模式m0联想起来的联想记忆5.3.2离散Hopfield反馈神经网络离散Hopfield网络的应用和设计联想记忆包括自联想