BP神经网络

例1采用动量梯度下降算法训练BP网络。训练样本定义如下：输入矢量为p=[-1-231-115-3]目标矢量为t=[-1-111]解：本例的MATLAB程序如下：closeallclearechoonclc%NEWFF——生成一个新的前向神经网络%TRAIN——对BP神经网络进行训练%SIM——对BP神经网络进行仿真pause%敲任意键开始clc%定义训练样本%P为输入矢量P=[-1,-2,3,1;-1,1,5,-3];%T为目标矢量T=[-1,-1,1,1];pause;clc%创建一个新的前向神经网络net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')%当前输入层权值和阈值inputWeights=net.IW{1,1}inputbias=net.b{1}%当前网络层权值和阈值layerWeights=net.LW{2,1}layerbias=net.b{2}pauseclc%设置训练参数net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;net.trainParam.epochs=1000;net.trainParam.goal=1e-3;pauseclc%调用TRAINGDM算法训练BP网络[net,tr]=train(net,P,T);pauseclc%对BP网络进行仿真A=sim(net,P)%计算仿真误差E=T-AMSE=mse(E)pauseclcechooff例2采用贝叶斯正则化算法提高BP网络的推广能力。在本例中，我们采用两种训练方法，即L-M优化算法（trainlm）和贝叶斯正则化算法（trainbr），用以训练BP网络，使其能够拟合某一附加有白噪声的正弦样本数据。其中，样本数据可以采用如下MATLAB语句生成：输入矢量：P=[-1:0.05:1]；目标矢量：randn(’seed’,78341223)；T=sin(2*pi*P)+0.1*randn(size(P))；解：本例的MATLAB程序如下：closeallclearechoonclc%NEWFF——生成一个新的前向神经网络%TRAIN——对BP神经网络进行训练%SIM——对BP神经网络进行仿真pause%敲任意键开始clc%定义训练样本矢量%P为输入矢量P=[-1:0.05:1];%T为目标矢量randn('seed',78341223);T=sin(2*pi*P)+0.1*randn(size(P));%绘制样本数据点plot(P,T,'+');echooffholdon;plot(P,sin(2*pi*P),':');%绘制不含噪声的正弦曲线echoonclcpauseclc%创建一个新的前向神经网络net=newff(minmax(P),[20,1],{'tansig','purelin'});pauseclcechooffclcdisp('1.L-M优化算法TRAINLM');disp('2.贝叶斯正则化算法TRAINBR');choice=input('请选择训练算法(1,2):');figure(gcf);if(choice==1)echoonclc%采用L-M优化算法TRAINLMnet.trainFcn='trainlm';pauseclc%设置训练参数net.trainParam.epochs=500;net.trainParam.goal=1e-6;net=init(net);%重新初始化pauseclcelseif(choice==2)echoonclc%采用贝叶斯正则化算法TRAINBRnet.trainFcn='trainbr';pauseclc%设置训练参数net.trainParam.epochs=500;randn('seed',192736547);net=init(net);%重新初始化pauseclcend%调用相应算法训练BP网络[net,tr]=train(net,P,T);pauseclc%对BP网络进行仿真A=sim(net,P);%计算仿真误差E=T-A;MSE=mse(E)pauseclc%绘制匹配结果曲线closeall;plot(P,A,P,T,'+',P,sin(2*pi*P),':');pause;clcechooff通过采用两种不同的训练算法，我们可以得到如图1和图2所示的两种拟合结果。图中的实线表示拟合曲线，虚线代表不含白噪声的正弦曲线，“＋”点为含有白噪声的正弦样本数据点。显然，经trainlm函数训练后的神经网络对样本数据点实现了“过度匹配”，而经trainbr函数训练的神经网络对噪声不敏感，具有较好的推广能力。值得指出的是，在利用trainbr函数训练BP网络时，若训练结果收敛，通常会给出提示信息“MaximumMUreached”。此外，用户还可以根据SSE和SSW的大小变化情况来判断训练是否收敛：当SSE和SSW的值在经过若干步迭代后处于恒值时，则通常说明网络训练收敛，此时可以停止训练。观察trainbr函数训练BP网络的误差变化曲线,可见，当训练迭代至320步时，网络训练收敛，此时SSE和SSW均为恒值，当前有效网络的参数（有效权值和阈值）个数为11.7973。例3采用“提前停止”方法提高BP网络的推广能力。对于和例2相同的问题，在本例中我们将采用训练函数traingdx和“提前停止”相结合的方法来训练BP网络，以提高BP网络的推广能力。解：在利用“提前停止”方法时，首先应分别定义训练样本、验证样本或测试样本，其中，验证样本是必不可少的。在本例中，我们只定义并使用验证样本，即有验证样本输入矢量：val.P=[-0.975:.05:0.975]验证样本目标矢量：val.T=sin(2*pi*val.P)+0.1*randn(size(val.P))值得注意的是，尽管“提前停止”方法可以和任何一种BP网络训练函数一起使用，但是不适合同训练速度过快的算法联合使用，比如trainlm函数，所以本例中我们采用训练速度相对较慢的变学习速率算法traingdx函数作为训练函数。本例的MATLAB程序如下：closeallclearechoonclc%NEWFF——生成一个新的前向神经网络%TRAIN——对BP神经网络进行训练%SIM——对BP神经网络进行仿真pause%敲任意键开始clc%定义训练样本矢量%P为输入矢量P=[-1:0.05:1];%T为目标矢量randn('seed',78341223);T=sin(2*pi*P)+0.1*randn(size(P));%绘制训练样本数据点plot(P,T,'+');echooffholdon;plot(P,sin(2*pi*P),':');%绘制不含噪声的正弦曲线echoonclcpauseclc%定义验证样本val.P=[-0.975:0.05:0.975];%验证样本的输入矢量val.T=sin(2*pi*val.P)+0.1*randn(size(val.P));%验证样本的目标矢量pauseclc%创建一个新的前向神经网络net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');pauseclc%设置训练参数net.trainParam.epochs=500;net=init(net);pauseclc%训练BP网络[net,tr]=train(net,P,T,[],[],val);pauseclc%对BP网络进行仿真A=sim(net,P);%计算仿真误差E=T-A;MSE=mse(E)pauseclc%绘制仿真拟合结果曲线closeall;plot(P,A,P,T,'+',P,sin(2*pi*P),':');pause;clcechooff下面给出了网络的某次训练结果，可见，当训练至第136步时，训练提前停止，此时的网络误差为0.0102565。给出了训练后的仿真数据拟合曲线，效果是相当满意的。[net,tr]=train(net,P,T,[],[],val);TRAINGDX,Epoch0/500,MSE0.504647/0,Gradient2.1201/1e-006TRAINGDX,Epoch25/500,MSE0.163593/0,Gradient0.384793/1e-006TRAINGDX,Epoch50/500,MSE0.130259/0,Gradient0.158209/1e-006TRAINGDX,Epoch75/500,MSE0.086869/0,Gradient0.0883479/1e-006TRAINGDX,Epoch100/500,MSE0.0492511/0,Gradient0.0387894/1e-006TRAINGDX,Epoch125/500,MSE0.0110016/0,Gradient0.017242/1e-006TRAINGDX,Epoch136/500,MSE0.0102565/0,Gradient0.01203/1e-006TRAINGDX,Validationstop.例3用BP网络估计胆固醇含量这是一个将神经网络用于医疗应用的例子。我们设计一个器械，用于从血样的光谱组成的测量中得到血清的胆固醇含量级别，我们有261个病人的血样值，包括21种波长的谱线的数据，对于这些病人，我们得到了基于光谱分类的胆固醇含量级别hdl,ldl,vldl。(1)样本数据的定义与预处理。choles_all.mat文件中存储了网络训练所需要的全部样本数据。利用load函数可以在工作空间中自动载入网络训练所需的输入数据p和目标数据t，即loadcholes_allsizeofp=size(p)sizeofp=21264sizeoft=size(t)sizeoft=3264可见，样本集的大小为264。为了提高神经网络的训练效率，通常要对样本数据作适当的预处理。首先，利用prestd函数对样本数据作归一化处理，使得归一化后的输入和目标数据均服从正态分布，即[pn,meanp,stdp,tn,meant,stdt]=prestd(p,t);然后，利用prepca函数对归一化后的样本数据进行主元分析，从而消除样本数据中的冗余成份，起到数据降维的目的。[ptrans,transMat]=prepca(pn,0.001);[R,Q]=size(ptrans)R=4Q=264可见，主元分析之后的样本数据维数被大大降低，输入数据的维数由21变为4。(2)对训练样本、验证样本和测试样本进行划分。为了提高网络的推广能力和识别能力，训练中采用“提前停止”的方法，因此，在训练之前，需要将上面处理后的样本数据适当划分为训练样本集、验证样本集和测试样本集。(3)网络生成与训练。选用两层BP网络，其中网络输入维数为4，输出维数为3，输出值即为血清胆固醇的三个指标值大小。网络中间层神经元数目预选为5，传递函数类型选为tansig函数，输出层传递函数选为线性函数purelin，训练函数设为trainlm。网络的生成语句如下：net=newff(minmax(ptr),[53],{'tansig''purelin'},'trainlm');利用train函数对所生成的神经网络进行训练，训练结果如下：[net,tr]=train(net,ptr,ttr,[],[],val,test);见，网络训练迭代至第20步时提前停止，这是由于验证误差已经开始变大。利用下面语句可以绘制出训练误差、验证误差和测试误差的变化曲线，如图4.50所示。由图可见，验证误差和测试误差的变化趋势基本一致，说明样本集的划分基本合理。由训练误差曲线可见，训练误差结果也是比较满意的。(4)网络仿真。为了进一步检验训练后网络的性能，下面对训练结果作进一步仿真分析。利用postreg函数可以对网络仿真的输出结果和目标输出作线性回归分析，并得到两者的相关系数