自组织特征映射SOFMSelf-OrganizingFeatureMap是芬兰学者

2006-12-27北京科技大学自动化系付冬梅1第十章SOFM神经网络北京科技大学信息工程学院付冬梅[e-mail]623349672006-12-27北京科技大学自动化系付冬梅2自组织竞争神经网络类型自适应共振理论(AdaptiveResonanceTheory，ART)网络自组织特征映射(self-OrganizingMap，SOM)网络对传(CounterPropagation，CP)网络协同神经网络(SynergeticNeuralNetwork．SNN)第十章SOFM神经网络2006-12-27北京科技大学自动化系付冬梅3第十章SOFM神经网络由芬兰学者TeuvoKohonen于1981年提出。基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元。I’mTeuvoKohonen2006-12-27北京科技大学自动化系付冬梅4神经网络系统中的一个主要特点是它具有学习功能。通过学习它可以提取一组数据中的重要特征或找出其内在规律和本质属性（如分布特征，或按某种特征聚类），不断调整本身的学习过程，通常把网络的这种功能称为自学习或自组织功能。这种无教师监督，能自动的向环境学习，并根据学习所得到的重要特征来记忆知识的网络统称为自组织神经网络。自组织特征映射（SOFM,Self-OrganizingFeatureMap）是芬兰学者Kohonen提出的一种神经网络模型，它模拟了哺乳动物大脑皮质神经的侧抑制、自组织等特性，1984年Kohonen将芬兰语音精确地组织为因素图，1986年又将运动指令组织成运动控制图，由于这些成功应用使SOFM引起世人的高度重视，形成一类很有特色的无师训练神经网络模型。第十章SOFM神经网络2006-12-27北京科技大学自动化系付冬梅5SOFM网络的思想来源SOFM网络的结构模型SOFM神经元的基本功能函数SOFM的基本学习算法仿真实例几点注意事项第十章SOFM神经网络2006-12-27北京科技大学自动化系付冬梅6第十章SOFM神经网络10.1SOFM网络的思想来源自组织特征映射的思想来源有两个方面人脑的自组织性人脑的矢量量化尽管目前人们对脑细胞如何组织来协调处理复杂信息的过程和机理还不十分清楚，但已有以下几点共识：人脑的自组织性(1)原始信息如一句话、一个图形是多维信号，图形可看成一个二维点阵加上三原色颜色等分量。脑皮层尽管有许多沟回，但本质上是一个二维平面的拓扑变形，脑皮层的每个细胞可视作二维平面上一个点。多维信号传递到脑皮层的过程可视作高维空间信号到二维空问信号的降维映射，降维过程去掉了原始信号的次要特征,保留了其主要特征。2006-12-27北京科技大学自动化系付冬梅7第十章SOFM神经网络(2)信号空间中具有相近特征的信号被映射到脑皮层中相近区域时，大致保留了信号在中的概率分布特征及拓扑结构特征，即大脑有自动归类能力，将信号物以类聚。(3)以响应最强的一个神经元为中心，形成一个区域，大致来说，中心强度大，离中心越远越弱。(4)神经细胞之间有侧抑制，存在竞争。这种竞争是通过反馈实现的，对自己给予最大正反馈，对邻居给予一定正反馈，对远处的细胞则给予负反馈即抑制。nRnR2006-12-27北京科技大学自动化系付冬梅8图10.1是反馈强度的示意图，平面上细胞按离中心神经元j的距离分成三个区域：①近距离的侧激励区；②稍远一些有一个抑制作用的环形区域；③环外是一个弱激励区，在初步分析时可忽略。图10.2用黑点大小表示侧激励区各神经细胞兴奋的强弱。第十章SOFM神经网络图10.1侧抑制作用示意圈图10.2气泡示意图2006-12-27北京科技大学自动化系付冬梅9第十章SOFM神经网络矢量量化是20世纪80年代提出的一种数据压缩方法，广泛用于语音及图像数据的传输，其基本思想是将输入空间划分成多个不相交的超多面体，每个超多面体可称为一个区域，每个区域中选一个代表点，称为码本向量，这样凡同一区域的点均用码本向量来表示，数据可大大压缩。如何根据信号的特点来划分区域，如何由代表点重构信号(语音、图象)而不致与原信号失真等问题，本课堂不计划详述，感兴趣的同学可以参考有关文献。人脑的矢量量化2006-12-27北京科技大学自动化系付冬梅10第十章SOFM神经网络10.2SOFM网络的结构模型最初的自组织特征映射是一个单层网络(见图10.3)。各神经元处在一个平面上，一般用矩形或六边形等排列方式。输入端处于平面之外的下侧，每个输入端口与所有神经元均有连接,称为前向权,它们可以迭代调整。在神经元平面上侧，实际上每个神经元还有一个输出端,不再画出,平面上各单元采用全连接，称为侧向权，以构成抑制引起竞争。为了图形的清晰,图3未画出侧向权。侧向抑制机制是通过邻域和学习因子实现的，具体表现见后面的学习算法。2006-12-27北京科技大学自动化系付冬梅11竞争层输入层SOFM神经网络结构第十章SOFM神经网络10.2SOFM网络的结构模型2006-12-27北京科技大学自动化系付冬梅12第十章SOFM神经网络图10.3最初的SOFM网络结构示意图2006-12-27北京科技大学自动化系付冬梅13第十章SOFM神经网络10.3SOFM神经元的基本功能函数ijw12[,,]TiiiinL记为j个输入端指向第i神经元的权，令神经元i的输出可以采用两种方式:1)内积形式1,nTiijjijwxwxwx2)欧氏距离形式122()iiijjjdwxwx采用这两种函数目的在于衡量输入矢量与单位的权矢量之间匹配的程度，内积越大或距离越小，与匹配程度越高。xiwidxiw（10.1）（10.2）2006-12-27北京科技大学自动化系付冬梅14第十章SOFM神经网络当所有的权与输入向量均归一化处理，后，1iw1x以上两种表示等价。简单证明如下：2222,,,,2,22,iiiiiiiiiidwxwxwx=-2+=所以（10.2）的极小对应（10.1）的极大。不过归一化处理后。所有权向量都处在单位球面上，损失了一个维数。当权向量维数高的时候，这种损失对结果影响不会太大，如若维数低，则影响不能忽略，最好用不要归一化处理，直接用（10.2）式。（10.3）2006-12-27北京科技大学自动化系付冬梅15第十章SOFM神经网络10.4SOFM的基本学习算法SOFM网络算法的主要生物学依据来源于大脑的侧向交互原理，即所谓的墨西哥草帽效应：相邻近的神经元之间的局部交互的方式是侧向交互，它遵从下列有关规则：1)以发出信号的神经元为圆心，对该神经元近邻的神经元的交互作用表现为兴奋性侧反馈；2)以发出信号的神经元为圆心，对该神经元远邻的神经元的交互作用表现为抑制性侧反馈。生物学上的近邻是指从发出信号的神经元为圆心．半径约为50—500µm左右的神经元；远邻是指半径为200µm—2mm左右的神经元。比远邻更远的神经元则表现的是弱激励作用。2006-12-27北京科技大学自动化系付冬梅16第十章SOFM神经网络这种局部交互方式如图10.4所示。由于这种交互作用的曲线类似于墨西哥人带的帽子，所以也称这种交互方式为“墨西哥帽”。图10.4墨西哥帽示意图2006-12-27北京科技大学自动化系付冬梅17第十章SOFM神经网络无教师学习学习是无师的，其目的是调整前向权，但调整过程也体现了侧抑制作用。学习算法步骤如下：Step1权值初始化，将每个赋以一个小的随机值。ijw(0)ijwxStep2输入训练样本矢量，令t=0。Step3用公式(10.2)计算与所有前向权量矢量之间的距离x22()iidwtxStep4选择获胜单元c，使22mincidd2006-12-27北京科技大学自动化系付冬梅18第十章SOFM神经网络Step6令t:=t+1转Step3。Step7当时，停止对当前样本的学习，转Step2。Step8重复Step2~Step7，直至所有样本使用完毕。()cwtStep5调整(1)()()[()],()(1)(),()ijijjijcijijcwtwttxwtiNtwtwtiNt式中是学习因子，随时间而递减，范围,是c的领域，其半径随t而减小。()t0()1t()cNt0tT2006-12-27北京科技大学自动化系付冬梅19第十章SOFM神经网络关于学习率函数的选择。原则上可选一个单调下降函数，至于是线性下降还是负指数下降没有硬性规定，只有一些经验法则。如采用线性下降函数，根据Konhonen本人的经验，前10000步下降要快。后10000步下降要慢。()t关于领域的形状及收缩规律，也只有经验法则。形状一般取矩形、六边形或圆形。为简单起见半径的缩小可采用线性下降函数，但注意不要下降到0。如果1，则退化为独活型竞争。()cNt()crN()crN2006-12-27北京科技大学自动化系付冬梅20第十章SOFM神经网络图10.5是两种形状领域的逐步缩小示意图。图10.5领域逐步缩小示意图2006-12-27北京科技大学自动化系付冬梅21第十章SOFM神经网络关于学习率和领域大小的一种统一考虑如下：取()t()cNt220()()exp(/())tciicththerrt0(0)1cihh式中是常数，是t的单减函数，常数，是第i个神经元在平面上的坐标，是获胜单元c在平面上的坐标。这种处理方法实际上是以全部神经元位领域，只不过离c远的地方学习率很小可以忽略罢了。2()t012(,)Tiiirrr12(,)Tiiirrr2006-12-27北京科技大学自动化系付冬梅22函数名功能newsom()创建一个自组织特征映射神经网络plotsom()绘制自组织特征映射网络的权值矢量vec2ind()将单值矢量组变换成下标矢量compet()竞争传输函数midpoint()中点权值初始化函数learnsom()自组织特征映射权值学习规则函数第十章SOFM神经网络10.5MATLAB中SOFM网络的重要函数和基本功能2006-12-27北京科技大学自动化系付冬梅23newsom()功能创建一个自组织特征映射网络函数格式net=newsom(PR，[D1，D2，...]，TFCN，DFCN，OLR，OSTEPS，TLR，TND)说明net为生成的新BP神经网络；PR为网络输入矢量取值范围的矩阵[PminPmax]；[D1，D2，...]为神经元在多维空间中排列时各维的个数；TFCN为拓扑函数，缺省值为hextop；DFCN为距离函数，缺省值为linkdist；OLR为排列阶段学习速率，缺省值为0.9；OSTEPS为排列阶段学习次数，缺省值为1000；TLR为调整阶段学习速率，缺省值为0.02，TND为调整阶段领域半径，缺省值为1。第十章SOFM神经网络10.5MATLAB中SOFM网络的重要函数和基本功能2006-12-27北京科技大学自动化系付冬梅24plotsom()功能绘制自组织特征映射网络图的权值向量函数格式(1)plotsom(pos)(2)plotsom(W，D，ND)说明式中pos是网络中各神经元在物理空间分布的位置坐标矩阵；函数返回神经元物理分布的拓扑图，图中每两个间距小于1的神经元以直线连接；W为神经元权值矩阵；D为根据神经元位置计算出的间接矩阵；ND为领域半径，缺省值为1；函数返回神经元权值的分布图，图中每两个间距小于ND的神经元以直线连接。第十章SOFM神经网络10.5MATLAB中SOFM网络的重要函数和基本功能2006-12-27北京科技大学自动化系付冬梅25yec2ind()功能将单值向量组变换成下标向量格式ind=vec2ind(vec)说明式中，vec为m行n列的向量矩阵x，x中的每个列向量i，除包含一个1外，其余元素均为0，ind为n个元素值为1所在的行下标值构成的一个行向量。第十章SOFM神