竞争学习神经网络

第四章竞争学习神经网络4.1竞争学习的概念与原理4.2自组织特征映射神经网络4.3自组织特征映射网络的设计与应用4.4自适应共振理论（选讲）自组织神经网络的典型结构第四章自组织神经网络竞争层输入层第四章自组织神经网络自组织学习(self-organizedlearning)：通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。自组织网络的自组织功能是通过竞争学习（competitivelearning）实现的。4.1竞争学习的概念与原理4.1.1基本概念1、模式、分类、聚类与相似性模式——对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式集合。分类——在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。聚类——无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。通过聚类发现数据的分布规律和特征。如何决定相似度、类别数等2、相似性测量＿欧式距离法)()(iTiiXXXXXX类1类2类1类2TT(a)基于欧式距离的相似性测量(b)基于余弦法的相似性测量2、相似性测量＿余弦法iiTXXXXcos类1类2类1类2TT(a)基于欧式距离的相似性测量(b)基于余弦法的相似性测量3、相似性测量＿内积法不同的相似度会导致形成聚类的特性不同。以欧氏距离度量形成相似且紧密的圆形聚类；以余弦度量形成大体同向的狭长形聚类；以内积度量形成的图形则又不同。欧氏度量聚类余弦度量聚类4.1.2竞争学习原理网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为WinnerTakeAll。4.1.2竞争学习原理1、竞争学习规则算法分三步：网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为WinnerTakeAll。（1）向量归一化首先将当前输入模式向量X和竞争层中各神经元对应的内星权向量Wj全部进行归一化处理；(j=1,2,…,m)^12211,,TnnnjjjjxxXXXxx(2)寻找获胜神经元当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。以欧氏度量计算相似性：从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：*1,2,...,ˆˆˆˆminjjjmXWXW)ˆˆ()ˆˆ(ˆˆjTjjWXWXWXTjTjTjTWWXWXXˆˆˆˆ2ˆˆ)ˆ1(2XWTj)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTj此式就是竞争层神经元的净输入。(3)网络输出与权值调整规定胜者为1，败者为0.**01)1(jjjjtoj*******ˆˆˆˆ(1)()()()j=jˆ(1)()jjjjjjjjjttttt步骤(3)完成后回到步骤1继续训练，直到学习率衰减到0。2、竞争学习原理考虑二维情况，归一化后矢端分布在单位圆上，以o表示，对应的内星向量也在单位圆上，以*表示。*****竞争学习的几何意义****☻)](ˆ)(ˆ)[()(*ttttjpWXWh*1Wˆ*ˆjW**┆)(ˆ*1tjW)(ˆtpXjWˆmWˆ*…***例4.1用竞争学习算法将下列各模式分为2类：6.08.01X9848.01736.02X707.0707.03X9397.0342.04X8.06.05X解：为作图方便，将上述模式转换成极坐标形式：89.3611X2180X5.4413X7014X13.5315X竞争层设两个权向量，随机初始化为单位向量：0101)0(1W180101)0(2Wx5x3x1w2w1x2x4训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-754.2自组织特征映射神经网络（Self-OrganizingfeatureMap,SOM）1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一思路提出来的，其特点与人脑的自组织特性相类似。4.2.1SOM网的生物学基础生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。4.2.2SOM网的拓扑结构及权值调整域一、拓扑结构SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。…………(a)一维线阵(b)二维平面线阵二、权值调整域SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。4.2.3自组织特征映射网的运行原理与学习算法一、运行原理分为训练和工作两个阶段。训