自组织神经网络

1第四章自组织神经网络（SONN)2SONN概述在人类的认识过程中，除了从教师那里得到知识外，还有一种不需要通过教师，自动向环境学习的能力，这种仅依靠环境刺激的“无师自通”的功能称为自组织学习方法。在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。1）区域性：视觉，听觉，预言理解，运动控制；2）自组织：遗传加上学习；3）记忆方式：一群元对应于一个模式；4）兴奋刺激规律：墨西哥草帽型，中间强度大，逐渐衰减，远离中心的受到抑制。3SONN概述在学习算法上，它模拟生物神经系统依靠神经元之间的兴奋、协调与抑制、竞争的作用来进行信息处理的动力学原理指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则。以竞争型神经网络为基础可以构成一些具有自组织能力的网络。如:自适应共振理论（AdaptiveResonanceTheory）网络,自组织特征映射（Self-OrganizingFeatureMap）网络，对向传播（CounterPropagation）网络。4竞争学习原理竞争学习网络的第一个层次是输入层次，它接受输入样本。第二个层次是竞争层次，它对输入样本进行分类。对于某个神经元i的所有连接权之和为1，即设输入样本为二值向量，各元素取值为0或1，竞争层单元j的状态按下式计算：1011;1ijijiwwimjn1mjijiiswx5竞争学习原理在WTA(WinnerTakesAll)机制中，竞争层上具有最大加权的神经元j赢得竞争胜利，其输出为．1,,0jijssiijy其它竞争后的权值按下式修正()iijijxwwM其中α为学习参数(0＜α＜1,一般取0.01-0.03)，M为输入层上输出值为1的神经元个数，即：1miiMx6竞争学习原理当xi=1时，权值增加，而当xi＝0时，权值减小。即当xi活跃时，对应的第i个权值就增加,否则就减少。由于所有的权值之和为1，故当第i个权值增加或减少时，对应的其他权值就可能减少或增加。式中的第二项则保证整个权值的调整能满足所有权值的调整量之和为0，即1111()(11)0mmmijiijiiiwxwM7竞争学习原理例:给出一个竞争学习网络，如图所示，要求通过训练将输入模式集划分为两类。设输入模式为：1234(101)(100)(010)(011)XXXX分析所给出模式之间的Hamming距离(两个二进制输入模式不同状态的个数)，其模式的相似性可用下面的矩阵表示：0132102332012310ijH8竞争学习原理所谓两个模式彼此相似，是指其Hamming距离小于某个常量。本例中，x1、x2彼此相似，x3、x4彼此相似。前两个模式x1、x2与后两个模式x3、x4的Hamming距离较大。因此，输入模式自然可分为两类。网络训练完成后，得到如下两类：每一类包含两个输入模式，同一类模式的Hamming距离为1，不同类模式的Hamming距离为2或3。网络的分类原则来源于输入模式的固有特征。用不同的初始权值反复进行训练，网络仍然能自组织学习，完成正确的模式分类。9竞争学习网络特征在竞争学习中，竞争层的神经元总是趋向于响应它所代表的某个特殊的样本模式，这样输出神经元就变成检测不同模式类的检测器。竞争学习方法是网络通过极小化同一模式类里面的样本之间的距离，极大化不同模式类间的距离来寻找模式类。这里所说的模式距离指Hamming距离，如模式010与模式101的Hamming距离为3。对这种竞争学习算法进行的模式分类，有时依赖于初始的权值以及输入样本的次序。要得到较好的训练结果，例如图所示的模式分类，网络应将其按Hamming距离分为三类。10竞争学习网络特征假如竞争层的初始权值都是相同的，那么竞争分类的结果是：首先训练的模式属于类1，由竞争单元1表示；随后训练的模式如果不属于类1，它就使竞争单元2表示类2；剩下的不属于前两类的模式使单元3获胜，为类3。假如不改变初始权值分布，只改变模式的训练顺序，这可能使竞争层单元对模式影响分类响应不一样，此时获胜的竞争单元1有可能代表类2或3，这种顺序上的不一样会造成分类学习很不稳定，会出现对同一输入模式在不同的迭代时有不同的响应单元，分类结果就产生振荡。11竞争学习网络特征竞争学习网络所实现的模式分类情况与典型的BP网络分类有所不同。BP网络分类学习必须预先知道将输入模式分为几个类别，而竞争网络将给定的模式分为几类预先并不知道，只有在学习后才能确定。竞争学习网络也存在一些局限性：（1）只用部分输入模式训练网络，当用一个明显不同的新的输入模式进行分类时，网络的分类能力可能会降低，甚至无法对其进行分类，这是由于竞争学习网络采用的是非推理方式调节权值。（2）竞争学习对模式变换不具备冗余性，其分类不是大小、位移、旋转不变的，从结构上也不支持大小、位移、旋转不变的分类模式。因此在使用上通常利用竞争学习的无监督性，将其包含在其它网络中。12自组织特征映射（SOFM）模型自组织特征映射模型也称为Kohonen网络．或者称为Self-organizingmap，由芬兰学者TeuvoKohonen于1981年提出。该网络是一个由全互连的神经元阵列形成的无教师自组织自学习网络。Kohonen认为，处于空间中不同区域的神经元有不同的分工，当一个神经网络接受外界输入模式时，将会分为不同的反应区域，各区域对输入模式具有不同的响应特征。SOFM模型的一个典型特性就是可以在一维或二维的处理单元阵列上形成输入信号的特征拓扑分布,因此SOFM模型具有抽取输入信号模式特征的能力。SOFM模型一般只包含有一维阵列和二维阵列，但可以推广到多维处理单元阵列。13自组织特征映射（SOFM）模型Kohonen网络模型由四个部分组成：(1)处理单元阵列：接受事件输入，并且形成对这些信号的“判别函数”。(2)比较选择机制：比较“判别函数”并选择一个具有最大函数输出值的处理单元。(3)局部互连作用：同时激励被选择的处理单元及其最邻近的处理单元。(4)自适应过程：修正被激励的处理单元的参数，以增加其相应于特定输入“判别函数”的输出值。14自组织特征映射（SOFM）模型竞争层竞争规则：•在竞争层中，神经元的竞争是这样进行的：对于获胜的神经元g，在其周围Ng的区域内，神经元在不同程度上都得到兴奋，而在Ng以外的神经元都被抑制。•Ng可以是任何形状，但一般是均匀对称的，如正方形或六角形。•Ng是时间函数，用Ng(t)表示，随t增加，Ng(t)减小，最后达到预定的范围。SOFM网络在无教师示教的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来，这种表现方式的不同之处在于：它不是以一个神经元或者网络的状态矢量反映分类结果的，而是以若干神经元同时（并行）反映结果。与这若干神经元相连的连接权虽略有差别，但这些神经元的分类作用基本上是并列的，即其中任何一个神经元都能代表分类结果和近似分类结果。15自组织特征映射（SOFM）模型此外，这种网络之所以称为特征映射网络，是因为网络通过对输入模式的反复学习，可以使连接权矢量的空间分布密度与输入模式的概率分布趋于一致，即连接权矢量的空间分布能反映输入模式的统计特征。可见，SOFM网络可用于样本排序、样本分类及样本特征检测等。16自组织特征映射（SOFM）模型网络实际具有响应的输出单元k，该单元的确定是通过胜者全得(WTA)竞争得到的，即：max{}kiiooSOFM模型的输入输出单元之间是全连接的，其权值修正规则为(1)()(())ijijiijwtwtxwt设网络输入为X，输出神经元i与输入层单元的连接权为Wi，则输出层神经元j的输出oi为iioWX17自组织特征映射（SOFM）模型Kohonen算法步骤：(1)初始化：对m个输入神经元到n个输出神经的连接权随机赋以较小的权值。置迭代次数T，学习参数α(0)。选取输出神经元j的“邻接神经元”的集合Sj(0)，表示时刻t＝0时的神经元j的“邻接神经元”的集合。区域sj(t)随时间的增长而不断缩小。(2)提供归一化的输入模式x。(3)计算欧氏距离dj，即输入样本与每个输出神经元j之间的欧氏距离：计算出一个具有最小距离的神经元j*作为竞争获胜节点(4)按下式修正输出神经元j*及其“邻接神经元”sj(t)的权值21[()()]mjjiijidXWxtwt18自组织特征映射（SOFM）模型(1)()()(())1()()0.2(1)()int((0)(1))ijijiijjjwtwttxwtttttTtStST或(4)重复输入所有样本直到达到迭代次数T19举例：8.06.0939.0342.0707.0707.09848.01736.06.08.05141312111xxxxx训练模式:01)0(w01)0(21w01)1(w316.0948.0)1(21w归一化的初始权值为：设为0.5,输入x1后,权值变化为:13.53170145180-187.3615141312111xxxxx化成极坐标形式：自组织特征映射（SOFM）模型20自组织特征映射（SOFM）模型最终向量21自产生与自组织神经网络（SCONN）自组织特征映射神经网络存在以下局限：(1)当输入模式为圆形分布时，中心节点无法学习成为死节点(2)由于输出层边界节点学习的次数远多于中心节点，因此存在明显的边界效应，需要很多的时间学习来消除(3)当输入模式拓扑结构比较复杂时系统会很不稳定(4)当输入模式序列不稳定时系统可塑性差自产生与自组织神经网络：假定初始时刻网络节点数很少（甚至只有一个节点）而响应神经元的激励动态范围较宽，也就是说神经元对任何刺激都会响应，响应阈值随时间衰减至一个固定的水平。其中有一个神经元有最大激励但没有达到响应值，就产生一个子节点。22自产生与自组织神经网络（SCONN）自产生与自组织神经网络算法：(1)初始化权系数、响应阈值θ(t)、迭代次数、学习参数等(2)输入新的模式(3)计算输入模式与所有输出节点的欧氏距离(4)选择距离最小的节点为竞争获胜节点(5)判断获胜节点是否响应，若是转(6)，否转(7)102,2))()((Nijiijtwtxd()jjwwdty响应不响应其它23自产生与自组织神经网络（SCONN）(6)调节获胜节点（和家族节点）权系数，降低所有节点的响应阈值，转(2)(7)由非响应获胜节点产生一个子节点，降低所有节点的响应阈值，转(2)R(t)为区间(0,1)内的相似系数上述算法的中止有三个准则：迭代次数T、输出节点数Sj、响应阈值θ(t)。,,,(1)()()(()())jjjiwiwiiwwtwttxtwt1jjss,,,(1)()()(()())jjjisiwiiwwtwtRtxtwt24对向传播网络（CPN）CPN(CounterPropagationNetwork)由美国RobertHecht-Niesen提出，它通过组合Kohonen学习和Grossberg学习而获得一种新的映射神经网络。CPN也被称作重复传播模型，用来实现样本选择匹配，同时，CPN常被用作联想存贮、模式分类、函数逼近、统计分析和数控压缩等方面。CPN是一个三层前向网络，各层之间全互连连接。隐含层称为Kohonen层，即竞争层，采用无监督学习规则进行学习。输出层称为Grossberg层，它与隐含层全互连，但不进行竞争。Grossberg层采用δ规则或Grossberg规则进行学习。25对向传播网络（CPN）向网络提供的模