基于BP神经网络的曲线拟合

神经网络实验报告基于BP网络的曲线拟合学院：控制学院姓名：李嘉頔学号:094230212015年6月一、实验目的⑴掌握BP神经网络的权值修改规则⑵利用BP网络修改权值对y=sin(x)曲线实现拟合二、实验要求人工神经网络是近年来发展起来的模拟人脑生物过程的人工智能技术，具有自学习、自组织、自适应和很强的非线性映射能力。在人工神经网络的实际应用中，常采用BP神经网络或它的变化形式，BP神经网络是一种多层神经网络，因采用BP算法而得名，主要应用于模式识别和分类、函数逼近、数据压缩等领域。BP网络是一种多层前馈神经网络，由输入层、隐层和输出层组成。层与层之间采用全互连方式，同一层之间不存在相互连接，隐层可以有一个或多个。BP算法的学习过程由前向计算过程和误差反向传播过程组成，在前向计算过程中，输入信息从输入层经隐层逐层计算，并传向输出层，每层神经元的状态只影响下一层神经元的状态。如输出层不能得到期望的输出，则转入误差反向传播过程，误差信号沿原来的连接通路返回，通过修改各层的神经元的权值，使得网络系统误差最小，最终实现网络的实际输出与各自所对应的期望输出逼近。三、实验内容3.1训练数据导入要对BP网络进行训练，必须准备训练样本。对样本数据的获取，可以通过用元素列表直接输入、创建数据文件，从数据文件中读取等方式，具体采用哪种方法，取决于数据的多少，数据文件的格式等。本文采用直接输入100个样本数据的方式，同时采用归一化处理，可以加快网络的训练速度。将输入x和输出y都变为-1到1之间的数据，归一化后的训练样本如下图：-1-0.8-0.6-0.4-0.200.20.40.60.81-1-0.8-0.6-0.4-0.200.20.40.60.813.2网络初始化根据系统输入输出序列，确定网络输入层节点数为1，隐含层节点数H为20，输出层节点数为1。初始化输入层、隐含层和输出层神经元之间的连接权值ijw，jkv，初始化隐含层阈值0t，输出层阈值1t，给定学习速率0a，1a和u，给定算法迭代次数inum和最大可接受误差error，同时给定神经元激励函数sigmoid。3.3前向输出计算根据输入变量x，输入层和隐含层间连接权值ijw和隐含层阈值0t，计算隐含层输出P：))((nijiijjtxwufP10lj,...,,21其中n为输入层节点数，本实验中取1；l为隐含层节点数，本实验中取20；f为隐含层激励函数，该函数可设置为多种形式，本实验中所选函数为：xexf11)(根据隐含层输出P，隐含层和输出层间连接权值jkv和输出层阈值1t，计算BP神经网络预测输出kQ：ljkjkjktvPQ11mk,...,,21其中m为输出层节点数，本实验中取1。3.4权值修正根据网络预测输入Q和期望输出y，计算网络预测误差e：kkkQyeBP神经网络采用梯度修正法作为权值和阈值的学习算法，从网络预测误差的负梯度方向修正权值和阈值。在本实验采用的sigmoid激励函数下，隐含层和输出层间连接权值和输出层阈值更新公式为：kjjkjkePauvv1mklj,...,,;,...,,2121kkkeutt11mk,...,,21输入层和隐含层间连接权值和输出层阈值更新公式为：mkkjkijjijijevuxPPaww101)(ljni,...,,;,...,,2121mkkjkjjjjevuPPatt10001)(lj,...,,21通过是否达到迭代次数或者错误率是否在可接受范围内来判断算法迭代是否结束，若没有结束，则继续迭代。四、实验步骤和结果3.1数据输入和归一化%function[x,y,y1,Error]=BPnet(t)%清空环境变量clc;clear;num=1;%要拟合的曲线试举例fori=0.01*pi:0.02*pi:2*pi%训练样本x(num)=i;%输入数据y(num)=sin(x(num));%期望输出num=num+1;endnum1=size(x,2);max_x=max(x);%训练样本归一化max_y=max(y);min_x=min(x);min_y=min(y);%最大最小法（归一化）fori=1:num1x(i)=2*((x(i)-min_x)/(max_x-min_x))-1;y(i)=2*((y(i)-min_y)/(max_y-min_y))-1;end3.2网络结构初始化H=20;%隐含层神经元个数w=2*rand(1,H)-1;%初始化隐层权值v=2*rand(1,H)-1;%初始化输出层权值t0=2*rand(1,H)-1;%隐层阈值t1=2*rand(1,1)-1;%输出层阈值a0=0.4;a1=0.3;u=1;%步长error=0.0001;err=error;%可接受误差inum=1;y1=zeros(1,100);3.3BP神经网络训练whileinum=20&err=errorii=randperm(length(x));y2=y(ii);x2=x(ii);%打乱样本顺序err=0;form=1:100d=y2(m);%给定输出fori=1:Hp(i)=w(i)*x2(m)+t0(i);P(i)=logsig(p(i).*u);endq1=0;forj=1:Hq(j)=P(j)*v(j);q1=q1+q(j);endq2=q1+t1;%输出%ifm=100Q=q2;%Q=tanh(q2.*u);%输出层输出%Q=2*logsig(q2.*u)-1;%输出层也可用sigmoid做激励函数%else%Q=-logsig(q2.*u);%endy1(m)=Q;e=[(d-Q).^2]/2;%误差平方函数err=err+e;c1=(d-Q)*u;%c1=2*(d-Q)*Q*(1-Q)*u;forn=1:Hd1(n)=c1*P(n);v1(n)=v(n)+a1*d1(n);endt1=t1+a1*c1;%对输出层的每一个权值修正forr=1:Hd0(r)=c1*v(r)*(1-P(r))*x2(m)*P(r);w1(r)=w(r)+a0*d0(r);t0(r)=t0(r)+a0*c1*v(r)*(1-P(r))*P(r);%对隐层的每一个权值修正endw=w1;v=v1;enderr=err/100;erro(inum)=err;inum=inum+1;end3.4BP神经网络预测num=1;fori=0.02*pi:0.02*pi:2*pi%预测样本z(num)=i;z1(num)=i;num=num+1;endnum1=size(z,2);max_z=max(z);%预测样本归一化min_z=min(z);%最大最小法（归一化）fori=1:num1z(i)=2*((z(i)-min_z)/(max_z-min_z))-1;endform=1:100fori=1:Hp(i)=w(i)*z(m)+t0(i);P(i)=logsig(p(i).*u);%隐含层输出endq1=0;forj=1:Hq(j)=P(j)*v(j);q1=q1+q(j);endq2=q1+t1;Q=q2;%输出层输出y2(m)=Q;endfigure;plot(z,sin(z1),'b');%期望输出holdon;plot(z,y2,'r*');%预测输出3.5BP神经网络预测结果迭代20次后的预测结果如下图：-1-0.8-0.6-0.4-0.200.20.40.60.81-1-0.8-0.6-0.4-0.200.20.40.60.81期望输出预测输出迭代50次后的预测结果如下图：-1-0.8-0.6-0.4-0.200.20.40.60.81-1.5-1-0.500.51期望输出预测输出迭代100次后的预测结果如下图：-1-0.8-0.6-0.4-0.200.20.40.60.81-1-0.8-0.6-0.4-0.200.20.40.60.81期望输出预测输出迭代200次后的预测结果如下图：-1-0.8-0.6-0.4-0.200.20.40.60.81-1-0.8-0.6-0.4-0.200.20.40.60.81期望输出预测输出通过上面四个图可以看出，随着迭代次数的增加，预测误差是逐渐减小的，在开始的迭代中，误差减小较快，最后经过规定次数的迭代，基本上能将函数y=sin(x)拟合出来。虽然BP神经网络具有较高的拟合能力，但是预测结果仍然存在一定的误差，基本的BP神经网络对于一些复杂系统的预测能力会比较差，其拟合能力存在局限性。