BP神经网络的构建与使用

BP神经网络的构建与使用一、函数逼近：1.实验内容：选取)2sin()2sin(yxd为测试函数，其中]1,0[x，]1,0[y。构造独立的训练样本集和检验样本集，实验在不同的网络规模、样本集大小、学习速率等条件下，网络的学习能力、推广能力和性能上的差异。2.实验过程：用MATLAB构建并使用BP神经网络,这里网络训练采用Levenberg-Marquardt算法。具体程序：k=0.05;%随机数据的选取精度m=1.0/k;%矩阵的行或列的数据个数X=[k:k:1];Y=[k:k:1];%输入矩阵2*400p=zeros(2,m*m);fori=1:m,forj=1:m,p(1,(i-1)*m+j)=X(i);p(2,(i-1)*m+j)=Y(j);endend%输出矩阵1*400Z1=zeros(1,m*m);fori=1:m,forj=1:m,Z1(1,(i-1)*m+j)=sin(2*pi*X(i))*sin(2*pi*Y(j));endend%BP神经网络n=10;%隐层神经元数目%建立BP网络结构,选择隐层和输出层神经元传递函数分别为%tansig函数和purelin函数%网络训练采用Levenberg-Marquardt算法trainlmnet=newff(minmax(p),[n,1],{'tansig','purelin'},'trainlm');%网络训练net.trainParam.epochs=50;%训练时间net.trainParam.goal=0.01;%训练精度net.trainParam.lr=0.001;%学习速率net=train(net,p,Z1);Z2=sim(net,p);%将Z1和Z2转换成ZZ1(20*20),ZZ2(20*20)ZZ1=zeros(m,m);ZZ2=zeros(m,m);fori=1:m,forj=1:m,ZZ1(i,j)=Z1(1,(i-1)*m+j);ZZ2(i,j)=Z2(1,(i-1)*m+j);endend%期望输出的曲面图subplot(1,2,1)surf(X,Y,ZZ1)title('期望输出');%实际输出的曲面图subplot(1,2,2)surf(X,Y,ZZ2)title('实际输出');3.实验结果及分析：运行后，我们得到期望输出和实际输出的曲面图（图1），经过比较，原曲面图和非线性函数的曲面图很接近，这说明，经过训练，BP网络对非线性函数的逼近效果相当好。图1下面对网络规模、样本集大小、学习速率等条件进行修改并观察结果，分析这些因素对网络的学习能力、推广能力和性能上的影响。1)神经元数目n变化n=5（图2）图2n=10（图3）图3比较图2和图3，可以看出，隐层神经元的数目对于网络逼近效果有一定的影响，一般来说，隐层神经元数目越多，则BP网络逼近非线性函数的能力越强，而同时网络训练所用的时间相对来说更长一些。2)样本集大小40*40（图4）图420*20（图5）图5比较图4和图5，可以看出，样本集的数目对于网络逼近效果有一定的影响，一般来说，样本集的数目越多，网络逼近效果越好。3)学习速率lr=0.001（图6）图6lr=0.01（图7）图7比较图6和图7，可以看出，学习速率对于网络逼近效果有一定的影响，一般来说，学习速率越小，网络逼近效果越好，但是学习速率过小会造成训练时间过长。4.BP算法的改进拟牛顿算法图8Levenberg-Marquardt算法图9在前馈反向传播网络应用中，对某一特定的问题，很难确定哪种训练算法最好，因为这取决于问题的复杂性、训练样本数、网络权重和阈值个数以及期望误差等许多因素。一般来说，网络具有几百个权值时，采用Levenberg-Marquardt算法收敛速度最快。如果要求正确训练时，该算法的优点更明显。二、分类1.实验内容：进行Iris数据分类实验，通过实验选择具有最佳性能的网络结构和训练参数，并与最近邻分类器进行性能对比。2.实验过程：具体程序：K=3;%类别N=50;%每类的样本数目M=4;%样本的维数Q=zeros(M,N*K);%定义样本矩阵%---------------读入数据--------------------------[a,b,c,d]=textread('iris.txt','%f%f%f%f%*s','delimiter',',');%放入4*150的矩阵中，每一列为一个样本fori=1:N*K,Q(1,i)=a(i);Q(2,i)=b(i);Q(3,i)=c(i);Q(4,i)=d(i);end%将数据分成两部分，一部分用于训练，一部分用于测试%等间距的方式抽取数据xn_test=zeros(M,N*K/2);xn_train=zeros(M,N*K/2);fori=1:K*N/2,forj=1:M,xn_test(j,i)=Q(j,i*2-1);xn_train(j,i)=Q(j,i*2);endend%训练目标,测试目标，三类，分别是100,010,001dn_test=zeros(K,N*K/2);dn_train=zeros(K,N*K/2);forj=1:K,fori=1:N/2,dn_train(j,(j-1)*N/2+i)=1;dn_test(j,(j-1)*N/2+i)=1;endend%----------函数接口赋值----------------------------NodeNum=20;%隐层节点数TypeNum=3;%输出维数p1=xn_train;%训练输入t1=dn_train;%训练输出Epochs=1000;%训练次数P=xn_test;%测试输入T=dn_test;%真实分类%设置网络参数%隐层的传递函数采用tan-sigmoid输出层采用线性传递函数TF1='tansig';TF2='purelin';%构造BP神经网络，网络训练采用Levenberg-Marquardt算法trainlmnet=newff(minmax(p1),[NodeNumTypeNum],{TF1TF2},'trainlm');net.trainParam.epochs=Epochs;%最大训练次数net.trainParam.goal=1e-8;%最小均方误差net.trainParam.min_grad=1e-20;%最小梯度net.trainParam.show=200;%训练显示间隔%------------训练与测试----------------------------net=train(net,p1,t1);%训练X=sim(net,P);%测试-输出为预测值X=full(compet(X))%竞争输出%compet:Competitivetransferfunction%full:Convertsparsematrixtofullmatrix%结果统计Result=~sum(abs(X-T))%正确分类显示为1Percent=sum(Result)/length(Result)%正确分类率3.实验结果及分析：图10对75组测试样本进行分类，其中结果1表示分类正确，0表示分类错误。如图10所示，正确率达到93.33%，说明BP神经网络对数据集分类是可行的。4.最近邻分类器这里采用了K均值算法对数据集iris.txt进行分类。1)K-Means算法描述否开始根据data得到：K（样本类别数）、Dimension（样本维数）、DataNum（样本数）。HALT（聚类停止标志）=0随机选取K个样本，分别作为K个类的初始聚类中心依次计算每个样本与K个聚类中心的距离，从中选择最近的聚类，将该样本加入这个聚类中，修改聚类中心HALT==0？计算每个样本到新聚类中心的距离，选择近的距离重新归类，对于类别改变的样本，从原簇中删除该样本（修改原簇的中心），添加到新簇中（修改新簇的中心）K个类中心是否发生改变？结束否是HALT=1是2)SAA类：包装了KMeans聚类、聚类结果输出、正确率统计等3)工作流程：创建DATA对象创建SAA对象调用ReadData（iris.txt）读取数据调用Compare_right()统计正确率调用KMeans()进行聚类调用DisPlay()将聚类结果输出到文件4)部分代码：聚类部分代码：修改聚类中心的代码：5)统计正确率：（因为初始的聚类中心是随机选取的，所以每次运行的结果不一样）：图11如图11所示，用K均值进行分类的正确率达到90.67%。5.BP神经网络与最近邻分类器的性能对比这里的BP神经网络，隐层的传递函数采用tan-sigmoid，输出层采用线性传递函数，网络训练采用Levenberg-Marquardt算法trainlm，隐层节点20，最小均方误差1e-8，最小梯度1e-20。最近邻分类器随机选取初始聚类中心，最终聚成三类，并对正确率进行统计。（因为结果只是聚成了三类，并不知道这三类究竟分别是哪一类，可以假设第一类为Iris-setosa，第二类为Iris-versicolor，第三类为Iris-virginica或者第一类为Iris-versicolor，第二类为Iris-setosa，第三类为Iris-virginica等，一共六种可能，选取其中正确率最高的作为最终结果）。将iris.txt数据分成两部分(等间距的方式抽取数据)，一部分用于训练，一部分用于测试。对测试数据集测试五次，得到的正确率如表1所示：12345BP神经网络0.94670.90670.88000.88000.9333最近邻分类器0.9066670.5133330.8266670.8133330.913333表1观察两组数据可以看出，BP神经网络的性能比最近邻分类器好。最近邻分类器中的第二次正确率仅为51.3333%，可见它的分类效果受初始点的选取影响很大，如果初始点选的不好，对整个分类器的性能有很大的影响。体会：通过本章内容的学习，我学会了使用MATLAB编写简单一些小程序，对BP神经网络有了更深入的了解，深入了解了BP神经网络的工作原理，通过做实验对影响BP神经网络性能的参数有了更深入的理解。通过对BP神经网络、最近邻分类器的性能比较，知道了他们之间的差异和各自的优缺点。