搜索
《人工神经网络及应用》人工神经网络及应用主讲人：单位：《人工神经网络及应用》第六章RBF神经网络1《人工神经网络及应用》6.1概述2()()xx(,)()xcxc•径向基函数(RadialBasisFunction,RBF)是一个取值仅取决于到原点距离的实值函数，记作，也可以是到任意一中心点c的距离，即。任何一个满足上述特性的函数都可以称为RBF。•1971年，Hardy用RBF来处理飞机外形设计曲面拟合问题，取得了非常好的效果。•1985年，英国剑桥大学数学家Powell提出了多变量插值的RBF方法。•20世纪末期，Broomhead、Lowe、Moody、Darken等科学家先后将RBF应用于神经网络设计，提出了一种RBF神经网络结构，即RBF神经网络。《人工神经网络及应用》•RBF神经网络的结构与多层前向网络类似，是一种具有单隐层的三层前向神经网络。输入层由信号源节点组成，隐含层是单神经元层，但神经元数可视所描述问题的需要而定，输出层对输入的作用作出响应。从输入层空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间的变换是线性的。隐含层神经元的变换函数是RBF，它是一种局部分布的中心径向对称衰减的非负非线性函数。•BP神经网络用于函数逼近时，权值的调节采用负梯度下降法，这种权值调节的方法存在着收敛速度慢和局部极小等局限性。同时，BP神经网络在训练过程中需要对网络中的所有权值和阈值进行修正，属于全局逼近的神经网络。3《人工神经网络及应用》•而RBF神经网络在逼近能力、分类能力和学习速度等方面均优于BP神经网络。另外，尽管RBF神经网络比BP神经网络需要更多的神经元，但是它能够按时间片来优化训练网络。因此，RBF神经网络是一种局部逼近性能非常好的神经网络结构，有学者证明它能以任意精度逼近任一连续函数。•RBF人工神经网络以其独特的信息处理能力在许多领域得到了成功的应用，它不仅具继承了神经网络强大的非线性映射能力，而且具有自适应、自学习和容错性等，能够从大量的历史数据中进行聚类和学习，进而得到某些行为变化的规律。同时，RBF神经网络是一种新颖有效的前馈式神经网络，具有最佳局部逼近和全局最优的性能，且训练方法快速易行，这些优点使得RBF神经网络在非线性时间序列预测中得到了广泛的应用。4《人工神经网络及应用》•另外，RBF神经网络能够逼近任意的非线性函数，可以处理系统内难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度。当有很多的训练向量时，这种网络很有效果。目前，RBF神经网络已在非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等多种场合得到了成功应用。5《人工神经网络及应用》6.2RBF神经网络结构和原理•RBF神经元模型如图6-1所示。图6-1RBF神经元模型•在图6-1中，为欧式距离，用函数式可表示为61.RBF神经元模型《人工神经网络及应用》7•另外，净值运算n为RBF神经元的中间运算结果，可由式(6-2)表式为•RBF神经元模型的输出y为•上式中，rbf(x)为径向基函数，常见的形式有《人工神经网络及应用》82.RBF神经网络结构•RBF神经网络由输入层、单隐含层、输出层三层组成，其结构如图6-2所示。图6-2RBF神经网络的结构原理图图6-2中，n1为RBF神经网络隐含层的中间运算结果，其表达式为《人工神经网络及应用》9•式中，diag(x)表示取矩阵向量主对角线上的元素组成的列向量。•RBF神经网络隐含层的输出y1为•n2为RBF输出层的中间运算结果，可由式(6-9)表示为•RBF神经网络的输出y2为•隐含层节点中的径向基函数对输入信号在局部产生响应，即当输入信号靠近该函数的中央范围时，隐含层节点将产生较大的输出。因此，RBF神经网络具有局部逼近能力，RBF神经网络也被称为局部感知场网络。《人工神经网络及应用》•RBF神经网络的基本思想是用径向基函数作为隐含层隐单元的“基”构成隐含层空间，隐含层对输入矢量向量进行变换，将低维空间的输入数据变换映射到高维空间内，使得在低维空间线性不可分的问题，在高维空间在高维空间实现线性可分。•假设RBF神经网络的输入向量x为R维，输出向量y2为S2维，输入输出样本长度为N。RBF神经网络隐含层的传递函数由径向基函数构成，通常选用式(6-4)所示的高斯函数。输入层节点传递输入信号到隐含层，实现了x→y1(x)的非线性映射,即103.RBF神经网络原理《人工神经网络及应用》11•式中，yi1是RBF神经网络第i个隐节点的输出，σi是第i个隐节点的扩展常数，S1是隐节点个数，x=(x1,x2,…,xR)T是输入样本，ci是第i个隐含层隐节点高斯激活径向基函数的中心向量，此向量是一个与输入样本x的维数相同的列向量，即ci=(ci1,ci2,…,ciR)T。由式(6-11)可知，隐含层节点的输出范围在0和1之间，且输入样本愈靠近节点的中心，输出值愈大。•输出层传递函数采用线性函数，隐含层到输出层的信号传递实现了y1(x)→y2的线性映射，即•式中，yi1是第i个隐节点的输出，yi2是第k个隐节点的输出，wki2是隐含层到输出层的加权系数，bk2是隐含层的阈值。《人工神经网络及应用》•假设RBF神经网络有N个训练样本，则系统对所有N个训练样本的总误差函数为•式中，N为输入输出样本对数，S1为RBF神经网络输出节点数，tkp表示在样本p作用下的第k个神经元的期望输出，表示在样本p作用下的第k个神经元的实际输出。•RBF神经网络的学习过程分为两个阶段，无监督学习阶段和有监督学习阶段。•根据所有的输入样本决定隐含层各节点的高斯径向基函数的中心向量ci和标准化常数σi。6.3RBF神经网络算法121.无监督学习阶段《人工神经网络及应用》13•无监督学习是对所有样本的输入进行聚类，求得RBF神经网络各隐含层节点的RBF神经网络的中心向量ci。无监督学习这里使用k均值聚类算法调整中心向量ci，即此算法就是将训练样本集中的输入向量分为若干族，在每个数据族内找出一个径向基函数中心向量，使得该族内各样本向量距与该族中心的距离最小。具体步骤如下：•(1)给定各隐含层节点的初始中心向量ci(0)和判定停止计算的误差阈值的为ε。•(2)计算欧氏距离并求出最小欧式距离的节点:•式中，p为样本序号，r为中心向量ci(p-1)与输入样本x(p)距离最近的隐含层节点序号。《人工神经网络及应用》14•(3)调整RBF神经网络隐含层径向基函数的中心向量：•式中，是学习速率，。，int(x)表示对x进行取整运算。因此经过S1个样本之后，学习速率逐渐减至零。•(4)判断聚类质量。•当满足•时，聚类结束，否则转到第(2)步。《人工神经网络及应用》152.有监督学习阶段•确定好隐含层的参数后，利用最小二乘法原则求出隐含层到输出层的连接权wki。•当ci确定以后，训练隐含层至输出层之间的连接权值，由于输出层传递函数使用的是线性函数，则求连接权值的问题即相当于线性优化问题。因此，与线性网络相类似，RBF神经网络神经网络隐含层到输出层连接权值wki的学习算法为•式中，，yi1(x)为径向基函数。η为学习速率，通常取。tk和yk分别表示第k个输出分量的期望值和实际值。《人工神经网络及应用》•由于向量y1中只有少量几个元素为1，其余均为零，因此在一次数据训练中只有少量的连接权值需要调整。正是由于这个特点，才使得RBF神经网络具有比较快的学习速度。•另外，由于当x远离ci时，yi1(x)非常小，因此可作0对待。实际上仅当yi1(x)大于某一数值(例如0.05)时才对相应的权值wki进行修改，经这样处理后RBF神经网络也同样具备局部逼近网络学习收敛快的优点。•对于RBF神经网络的学习算法，关键问题是隐含层节点中心参数的合理确定。常用的方法是从给定的训练样本集里按照某种方法直接选取，或者是采用聚类的方法确定。以下是RBF神经网络的几种学习算法：16《人工神经网络及应用》•1)直接计算法（随机选取RBF神经网络中心）RBF神经网络隐含层节点的中心是随机地在输人样本中选取，且中心固定。当隐含层节点中心固定时，隐含层的输出随之确定下来，则求解RBF神经网络隐含层到输出层的连接权值就相当于求解线性方程组。•2)自组织学习选取RBF神经网络中心RBF神经网络隐含层节点的中心不是固定不变的，而是需要通过自组织学习确定其位置，隐含层到输出层的连接权值则是通过有监督的学习来确定的。自组织学习选取RBF神经网络中心法是采用k均值聚类法来选择RBF神经网络的中心，属于无监督的学习方法。该方法是对神经网络资源的再分配，通过学习使RBF神经网络的隐含层节点中心位于输入空间重要的区域。17《人工神经网络及应用》•3)有监督学习选取RBF神经网络中心法通过训练样本集来获得满足监督要求的RBF神经网络隐含层节点中心、隐含层到输出层连接权值等参数。常用的方法是梯度下降法。•4)正交最小二乘法选取RBF神经网络中心法正交最小二乘法（OrthogoalLeastSquare,OLS)的思想来源于线性回归模型。RBF神经网络的输出实际上是隐含层神经元的响应参数(如回归因子)和隐含层到输出层连接权值的线性组合。所有隐含层神经元上的回归因子构成回归向量，因此RBF神经网络的学习过程主要是回归向量正交化的过程。18《人工神经网络及应用》•在很多实际问题中，RBF神经网络隐含层节点中心并非是训练集中的某些样本点或样本的聚类中心，而是需要通过学习的方法获得的，才能使所得到的隐含层节点中心能够更好地反应训练集数据所包含的信息。19《人工神经网络及应用》•(1)RBF神经网络输入层到隐含层不是通过权值和阈值进行连接的，而是通过输入样本与隐含层节点中心之间的距离连接的。训练RBF神经网络时，需要确定隐含层节点的个数、隐含层径向基函数中心、标准化常数以及隐含层到输出层的权值等参数。到目前为止，求RBF神经网络隐含层径向基函数的中心向量ci和标准化常数σi是一个困难的问题。•(2)径向基函数，即径向对称函数有多种。对于同一组样本，如何选择合适的径向基函数、确定隐含层节点数等参数，从而使RBF神经网络学习达到所要求的精度，目前还无法解决。当前，用计算机选择、设计、再检验是一种通用的手段。6.4RBF神经网络的相关问题20《人工神经网络及应用》•(3)RBF神经网络用于非线性系统辨识与控制，已证明RBF神经网络具有唯一最佳逼近的特性，且无局部极小值。虽具有唯一最佳逼近的特性，以及无局部极小的优点，但隐含层节点的中心难求，这是RBF神经网络难以广泛应用的原因。•(4)从理论上而言，RBF神经网络和BP神经网络一样可近似任何的连续非线性函数。两者的主要不同点是在非线性映射上采用了不同的作用函数。BP神经网络隐含层激活函数使用的是Sigmoid函数，其函数值在输入空间中无限大的范围内为非零值，即该激活函数为全局的；而RBF神经网络隐含层激活函数使用的是高斯函数，即它的作用函数是局部的。21《人工神经网络及应用》•(5)与BP神经网络收敛速度慢的缺点相反，RBF神经网络学习速度很快，适于在线实时控制。这是因为RBF神经网络把一个难题分解成两个较易解决的问题的缘故。首先，通过若干个隐含层节点，用聚类方式覆盖全部样本模式。然后，修改隐含层到输出层的连接权值，以获得最小映射误差。这两步都是比较直观的。22《人工神经网络及应用》★案列一给定输入向量p=-1:0.1:1和目标向量t=[0.05960.68200.04240.07140.52160.09670.81810.81750.72240.14990.65960.51860.97300.64900.80030.45380.43240.82530.08350.1332]，设计一个RBF神经网络，完成y=f（x）的曲线拟合。6.5应用案例23《人工神经网络及应用》★案列一解（1）创建、训练、储存RBF神经网络。（2）RBF神经网络仿真。24clearall;%清除所有内存变量clc;%