3.6 径向基函数神经网络模型与学习算法

2.5径向基函数神经网络模型与学习算法概述1985年，Powell提出了多变量插值的径向基函数(RadicalBasisFunction，RBF)方法1988年，Moody和Darken提出了一种神经网络结构，即RBF神经网络RBF网络是一种单隐层的三层前向网络RBF神经网络有两种模型：正规化网络和广义网络。RBF网络的基本思想用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间当RBF的中心点确定后，映射关系也就确定隐含层空间到输出空间的映射是线性的2.5.1RBF神经网络模型正规化网络输入有M个神经元，任一神经元用m表示；隐层有N个神经元，任一神经元用i表示；Φ(X,Xi)为基函数，它是第i个隐单元的激励输出；输出层有J个神经元，任一神经元用j表示；隐层与输出层间的权值用wij表示。训练样本集X=[X1,X2,…,Xk,…,XN]T,任一训练样本Xk=[xk1,xk2,…,xkm,…,xkM]；对应的实际输出为Yk=[Yk1,Yk2,…,Ykj,…,YkJ]；期望输出为dk=[dk1,dk2,…,dkj,…,dkJ]；当输入训练样本Xk时，第j个输出神经元的实际输出为：NiikijkkjXXwXy1,其中基函数一般选用格林函数：ikikX,XGX,X222trexpr当为高斯函数时（一种特殊的格林函数）：t为高斯函数的中心，σ为方差MmimkmiikiikikxxexpXXexpXXGX,XG122222121那么：高斯函数的中心Xi=[xi1,xi2,…,xim,…,xiM]正规化网络的训练样本Xi与基函数Φ(X,Xi)一一对应，当N很大时，网络实现复杂，可以用加勒金(Galerkin)方法减少隐层神经元的个数。广义网络输入有M个神经元，任一神经元用m表示；隐层有I个神经元，任一神经元用i表示；φ(X,ti)为基函数，它是第i个隐单元的激励输出；其中ti=[ti1,ti2,…,tim,…,tiM]为基函数的中心输出层有J个神经元，任一神经元用j表示；隐层与输出层间的权值用wij表示。阈值φ0表示令隐含层的一个神经元输出恒为1，其与输出层权值为w0j；训练样本集X=[X1,X2,…,Xk,…,XN]T,任一训练样本Xk=[xk1,xk2,…,xkm,…,xkM]；对应的实际输出为Yk=[Yk1,Yk2,…,Ykj,…,YkJ]；期望输出为dk=[dk1,dk2,…,dkj,…,dkJ]；当输入训练样本Xk时，第j个输出神经元的实际输出为：Iiikijjkkjt,XwwXy10222trexpr当基函数为高斯函数时：t为高斯函数的中心，σi为方差：MmimkmiikiikikiktxexptXexptXGt,XGt,X1222221212.5.2RBF网络的学习算法学习算法需要求解的参数径向基函数的中心方差隐含层到输出层的权值学习方法分类（按RBF中心选取方法的不同分）随机选取中心法自组织选取中心法有监督选取中心法正交最小二乘法等2.5.2RBF网络的学习算法自组织选取中心学习方法第一步，自组织学习阶段无导师学习过程，求解隐含层基函数的中心与方差；第二步，有导师学习阶段求解隐含层到输出层之间的权值。高斯函数作为径向基函数221R()=exp(-)2pipiccxx2.5.2RBF网络的学习算法网络的输出设d是样本的期望输出值，那么基函数的方差可表示为:21mjjijdycPh22i=11y=exp(-)=1,2,,2jijpiwcjnx2.5.2RBF网络的学习算法自组织选取中心算法步骤1.基于K-均值聚类方法求取基函数中心（1）网络初始化。随机选取I个训练样本作为聚类中心ti(0),设置迭代次数n=0。（2）随机输入的训练样本Xk。（3）寻找Xk离哪个中心最近，即寻找i（Xk）=argmin||Xk-ti(n)||（4）按下式重新调整聚类中心。（5）判断是否学完所有的训练样本且中心的分布不再变化，则结束，否则n=n+1ntXiintnXntntikikii12.5.2RBF网络的学习算法2.求解方差RBF神经网络的基函数为高斯函数时，方差可由下式求解：式中dmax为中所选取中心之间的最大距离。3.计算隐含层和输出层之间的权值隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下：22ikmaxijtXdIexpwIdmaxI2212.5.3RBF网络学习算法的MATLAB实现函数名功能newrb()新建一个径向基神经网络newrbe()新建一个严格的径向基神经网络newgrnn()新建一个广义回归径向基神经网络newpnn()新建一个概率径向基神经网络RBF网络的MATLAB函数及功能2.5.3RBF网络学习算法的MATLAB实现newrb()功能建立一个径向基神经网络格式net=newrb(P，T，GOAL，SPREAD，MN，DF)说明P为输入向量，T为目标向量，GOAL为圴方误差，默认为0，SPREAD为径向基函数的分布密度，默认为1，MN为神经元的最大数目，DF为两次显示之间所添加的神经元神经元数目。2.5.3RBF网络学习算法的MATLAB实现newrbe()功能建立一个严格的径向基神经网络,严格是指径向基神经网络的神经元的个数与输入值的个数相等。格式(1)net=newrb(P，T，SPREAD)说明各参数的含义见Newrb。2.5.3RBF网络学习算法的MATLAB实现例2-4建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，并作出网络的逼近误差曲线。%输入从0开始变化到5，每次变化幅度为0.1x=0:0.1:5;y=sqrt(x);%建立一个目标误差为0，径向基函数的分布密度为%0.5，隐含层神经元个数的最大值为20，每增加5个%神经元显示一次结果net=newrb(x,y,0,0.5,20,5);t=sim(net,x);%在以输入x和函数值与网络输出之间的差值y-t坐标%上绘出误差曲线，并用＂*＂来标记函数值与网络输%出之间的差值plot(x,y-t,'*-')2.5.3RBF网络学习算法的MATLAB实现例2-4误差曲线和逼近曲线小结背景RBF网络的基本思想RBF神经网络模型高斯函数RBF网络的学习算法RBF网络的MATLAB实现RBF网络的应用