5.4 自组织神经网络

1智能控制基础ShanghaiUniversity,Shanghai,P.R.China5.人工神经网络及其在控制中的应用5.4.自组织神经网络自动化系仪自教研室5.4自组织神经网络5.4.1自组织神经网络概述与竞争学习5.4.3对偶传播神经网络5.4.2自组织特征映射神经网络5.5.4自适应共振理论网络自动化系仪自教研室5.4自组织神经网络5.4.1自组织神经网络概述与竞争学习5.4.3对偶传播神经网络5.4.2自组织特征映射神经网络5.5.4自适应共振理论网络自动化系仪自教研室自组织神经网络，又称为自组织竞争神经网络,特别适合于解决模式分类和识别方面的应用问题。自组织神经网络概述5.4.1自组织神经网络概述与竞争学习自组织神经网络属于前向神经网络类型，采用无导师学习算法，自动化系仪自教研室自组织特征映射(self-OrganizingMap，SOM)网络自适应共振理论(AdaptiveResonanceTheory，ART)网络对传(CounterPropagation，CP)网络协同神经网络(SynergeticNeuralNetwork．SNN)几种常见的自组织神经网络5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室竞争层输入层自组织神经网络的典型结构5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。自组织学习(self-organizedlearning)自组织网络的自组织功能是通过竞争学习（competitivelearning）实现的。5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室聚类——无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。分类和聚类分类——分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室)()(iTiiXXXXXX类1类2类1类2TT(a)基于欧式距离的相似性测量(b)基于余弦法的相似性测量相似性测量——欧式距离法5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室iiTXXXXcos类1类2类1类2TT(a)基于欧式距离的相似性测量(b)基于余弦法的相似性测量相似性测量——余弦法5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Winner-Take-All。竞争学习规则——Winner-Take-All5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室1.向量归一化首先将当前输入模式向量X和竞争层中各神经元对应的内星向量Wj全部进行归一化处理；(j=1,2,…,m)Tnjjnnjjxxxx12121...ˆXXX竞争学习规则——Winner-Take-All5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室向量归一化之前****竞争学习规则——Winner-Take-All5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室向量归一化之后*****竞争学习规则——Winner-Take-All5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室2.寻找获胜神经元当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。欲使两单位向量最相似，须使其点积最大。即：)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTj竞争学习规则——Winner-Take-All5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTjjmjjWXWXˆˆminˆˆ,...,2,1*)ˆˆ()ˆˆ(ˆˆ***jTjjWXWXWXTjTjTjT***ˆˆˆˆ2ˆˆWWXWXX)ˆ1(2*XWTj竞争学习规则——Winner-Take-All5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室3.网络输出与权值调整**01)1(jjjjtoj)ˆˆ()()(ˆ)(ˆ)1(*****jjjjjttttWX)(ˆ)1(ttjjWWjj*步骤3完成后回到步骤1继续训练，直到学习率衰减到0。注意：调整后的向量需要重新归一化！！！竞争学习规则——Winner-Take-All5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室****☻竞争学习的几何意义5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室*1Wˆ*ˆjW*)](ˆ)(ˆ)[()(*ttttjpWXWh*┆)(ˆ*1tjW)(ˆtpXjWˆmWˆ*…***竞争学习的几何意义5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室例用竞争学习算法将下列各模式分为2类：6.08.01X9848.01736.02X707.0707.03X9397.0342.04X8.06.05X解：为作图方便，将上述模式转换成极坐标形式：89.3611X8012X5.4413X7014X13.5315X竞争层设两个权向量，随机初始化为单位向量：0101)0(1W180101)0(2W5.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1w2w1x2x4训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-755.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-755.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-755.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-755.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-755.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-755.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-755.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-755.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-755.4.1自组织神经网络概述与竞争学习自动化系仪自教研室x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90