《神经网络导论》实验二 双向联想记忆

《神经网络导论》实验二双向联想记忆专业班级硕2081学号3112313038姓名李海玥完成时间2013年1月《神经网络导论》试验二双向联想记忆李海玥2013年1月一、实验目的熟悉Kosko型双向联想记忆网络的原理与结构，通过仿真实验掌握具体的实现方法，了解该网络的功能及性能，加深对该类网络的稳定状态和能量函数等概念的理解。二、实验原理联想记忆功能分为自联想和异联想，异联想也称为双向联想记忆，简写为BAM。BAM存储器可存储两组矢量，若有如下N维矢量A和P维矢量B：A=[a0,a1,⋯aN−1]T∈{−1,1}NB=[b0,b1,⋯bP−1]T∈{−1,1}P构成M对矢量(As,Bs),s=0,1,⋯,M−1，给定A可经联想得到对应的标准样本B，当有噪声或残缺时，联想功能可使样本对复原。如图1所示，与矢量A相应的一层有N个节点，另一层对应矢量B，有P个节点，两层间双向连接。假定B到A的传输为正向，正向的权矩阵为W。如果输入矢量由上层加入，且相应于网络中B的稳定状态，则经W之作用产生A稳定状态。图1：双向联想记忆网络当任意矢量输入时，网络要经若干次次迭代计算演变至稳态，过程可示意为：WB(t)→A(t+1)WTA(t+1)→B(t+2)WB(t+2)→A(t+3)⋯直至A、B为稳态，演变过程结束。网络学习遵从Hebb规则，若给定M个双极性矢量对：(A0,B0),(A1,B1),⋯,(AM−1,BM−1)则正，反向权矩阵为：W=∑As,BsTM−1s=0WT=∑Bs,AsTM−1s=0如果BAM网络神经元函数值为0，则称为齐次BAM网络，其能量函数为：E(A,B)=−12ATWB−12BTWTA=−ATWB若神经元的非线性函数为f，则描述齐次BAM动态特性的差分方程为：正向联想(B⟹A)ai(t+1)=f[∑wijbj(t)Pj=1]反向联想(A⇒B)bj(t+2)=f[∑wijai(t+1)Pj=1]三、实验内容及步骤1、选择齐次Kosko型BAM网络编制程序实现联想记忆。设神经元非线性函数f为硬限幅函数，即f(x)=san(x)；当x=0时，神经元的输出维持不变。2、根据Hebb规则算出网络的连接权矩阵并记录；算出四对矢量所对应的稳定状态的能量值。连接权值W=422-20-20-240200-420202-2200020-2-422-2-4002020-2-20222-4-20200-2000-2024-2-202-2202-4-204-20-4024-20-22422-20-20-2400-22-20-2420-40-2220-20-200-2-4002020-2-22400-20-202202-2-202020002-2202-4-204稳定状态能量值：E=[−158−142−158−146]3、验证网络的联想能力经过Matlab编程验证，经过以上计算出的权值W和对称硬限幅函数的非线性作用，选择标准样本Ai进行迭代，观察上下两层的状态是否为(Ai,Bi)。同样任选Bi输入观察稳定后的结果。经过前面计算出的权值W和符号函数非线性作用，进行一次迭代，联想成功没有偏差。即Ai=sgn(W∗Bi),i=1,2,3,4Bi=sgn(WT∗Ai),i=1,2,3,44、验证网络抗噪能力以标准矢量A1随机两位取反形成畸变矢量A1’=[1,−1,1,−1,1,−1,1,−1,1,−1,1,−1,1,−1,1]T，带入网络中迭代至稳定。得到结果A’1=A1，B’1=B1过程经过两次迭代期间能量变化为：E0=−118，E1=−142，E2=−1585、噪声大小对联想能力的影响统计4个矢量分别在1~3位上取反时的联想正确率。对于每种情况取2000次运算得到平均性能。表1噪声对网络联想力的影响标准矢量取反位数迭代次数平均值联想正确率A112.0000100%22.000098.97%32.097595.58%A212.0000100%22.016098.49%32.176591.68%A311.920099.52%21.990598.51%32.063695.21%A412.0000100%22.013099.61%32.097589.71%6、正反向联想抗噪能力统计4个B矢量分别在1~3位取反时的联想正确率，记录结果并与第5步结果比较。表2反向联想抗噪能力标准矢量取反位数迭代次数平均值联想正确率B112.0000100%22.216091.75%32.336077.03%B211.870597.80%22.068594.52%32.339580.03%B311.902099.02%22.027091.43%32.203074.40%B411.795597.95%22.016592.17%32.181576.89%四、实验思考题1、在实验步骤4中观察网络能量E是如何变化的？根据网络机理说明原因。从步骤4中可以看出，网络能量E随着跌代的次数而减小。这是因为双向联想网络是Hopfield网络的一种，所以也具有Hopfield网络特性。而对于标准Hopfield网络，其能量函数E对时间的导数为负值，dEdt=−∑Ci(dVidt)2dfi−1(Vi)dVii≤0也就是说网络总是朝着能量函数E减小的方向运动，且达到稳态时，E取极小值。2、如果我们想要“擦除”存储矢量中的某对(Ai,Bi)，应如何调整网络？双向联想记忆网络特性主要体现在权值W上，如果想要“擦除”存储矢量中的某对(Ai,Bi)，只需要对权值进行调整：W′=∑As,BsTM−1s=0,s≠i或者更新权值为：W′=W−Ai∙BiT3、通过总结第5步和第6步的实验结果，能得出什么结论？简要解释其中的原因。随着矢量位取反的位数增多，即噪声的增大，网络达到稳态所需迭代次数增加。随着网络噪声的增大，网络联想正确率下降，说明网络恢复的记忆力是有限的。网络对各组矢量的联想记忆力是有限的，如果对其中一组矢量的记忆力增强，则另一组必定减弱。对不同样本组记忆力大体相同，差异不大。五、实验结论双向联想记忆网络是一种特殊的Hopfield神经网络，具有信息记忆和信息记忆的功能。Hopfield神经网络的特点是每个神经元的输出要反馈给除自身以外的其他所有神经元。那么设网络上共有L个神经预案，使得W成为一个L×L的矩阵，我们将L个神经元分成N、P两组。如果每组内任一个神经元的输出都反馈给另一组的神经元输入，而不反馈给本组神经元输入端，这样可以将不反馈的部分的权值视为0。所以Kosko型BAM网络就可以视为一种特殊的Hopfield网络。对于双向联想记忆网络，它具有Hopfield网络所具有的一般特性，在实验中可以看到，随着时间的推移，网络在状态空间中总是朝着能量函数减小的方向移动，当网络达到稳定时，能量取得极小值。随着网络噪声的增大，网络达到稳态所需迭代次数增加，网络联想正确率下降，同时说明网络恢复的记忆力是有限的。Matlab主要源代码1、Hebb规则A(:,1)=[1-11-11-11-11-11-11-11];A(:,2)=[11-1-111-1-111-1-111-1];A(:,3)=[111-1-1-1111-1-1-1111];A(:,4)=[1111-1-1-1-11111-1-1-1];B(:,1)=[1111-1-1-1-111];B(:,2)=[111-1-1-1111-1];B(:,3)=[11-1-111-1-111];B(:,4)=[1-11-11-11-11-1];w(1:15,1:10)=0;e(1:4)=0;fori=1:4w=w+A(:,i)*B(:,i)';endforj=1:4e(j)=-(A(:,j))'*w*B(:,j);endA1=A(:,1);B1=B(:,1);temp(15,1)=0;TimeNum=0;%isequal判断数组容量是否相等;%hardlims对称硬限幅功能传输函数；%%验证网络联想能力；whileisequal(A1,temp)temp=A1;A1=hardlims(w*B1);B1=hardlims(w*A1);TimeNum=TimeNum+1;End2、网络迭代算法%A1任两位取反A1=A(:,1).*(1-2*randerr(1,15,2)');e(1:k)=0;temp(15,1)=0;k=0;ifA1~=A(:,1)temp=A1(0);B1(k+1)=hardlims(w'*A1(k));k=k+1;A1(k+1)=hardlims(w*B1(k));endforj=1:ke(j)=-(A(:,j))'*w*B(:,j);endChangeNum=length(find(A1~=A(:,1)))disp('timesofinteration');disp(k);disp('E');disp(e);disp('changenumber');disp(ChangeNum);disp('ratioofcorrectness');disp(1-ChangeNum/length(A1));3、算法同2，重复2000次取平均值。