案例4：遗传算法优化神经网络-更好拟合函数.

遗传算法优化神经网络-更好拟合函数1.案例背景BP神经网络是一种反向传递并且能够修正误差的多层映射函数，它通过对未知系统的输入输出参数进行学习之后，便可以联想记忆表达该系统。但是由于BP网络是在梯度法基础上推导出来的，要求目标函数连续可导，在进化学习的过程中熟练速度慢，容易陷入局部最优，找不到全局最优值。并且由于BP网络的权值和阀值在选择上是随机值，每次的初始值都不一样，造成每次训练学习预测的结果都有所差别。遗传算法是一种全局搜索算法，把BP神经网络和遗传算法有机融合，充分发挥遗传算法的全局搜索能力和BP神经网络的局部搜索能力，利用遗传算法来弥补权值和阀值选择上的随机性缺陷，得到更好的预测结果。本案例用遗传算法来优化神经网络用于标准函数预测，通过仿真实验表明该算法的有效性。2.模型建立2.1预测函数2.2模型建立遗传算法优化BP网络的基本原理就是用遗传算法来优化BP网络的初始权值和阀值，使优化后的BP网络能够更好的预测系统输出。遗传算法优化BP网络主要包括种群初始化，适应度函数，交叉算子，选择算子和变异算子等。2.3算法模型3.编程实现3.1代码分析用matlabr2009编程实现神经网络遗传算法寻找系统极值，采用cell工具把遗传算法主函数分为以下几个部分：Contents清空环境变量网络结构确定遗传算法参数初始化迭代求解最佳初始阀值和权值遗传算法结果分析把最优初始阀值权值赋予网络预测BP网络训练BP网络预测主要的代码段分析如下：3.2结果分析采用遗传算法优化神经网络，并且用优化好的神经网络进行系统极值预测，根据测试函数是2输入1输出，所以构建的BP网络结构是2-5-1，一共去2000组函数的输入输出，用其中的1900组做训练，100组做预测。遗传算法的基本参数为个体采用浮点数编码法，个体长度为21，交叉概率为0.4，变异概率为0.2，种群规模是20，总进化次数是50次，最后得到的遗传算法优化过程中最优个体适应度值变化如下所示：4案例扩展4.1网络优化方法的选择4.2算法的局限性清空环境变量clcclear网络结构建立%读取数据loaddatainputoutput%节点个数inputnum=2;hiddennum=5;outputnum=1;%训练数据和预测数据input_train=input(1:1900,:)';input_test=input(1901:2000,:)';output_train=output(1:1900)';output_test=output(1901:2000)';%选连样本输入输出数据归一化[inputn,inputps]=mapminmax(input_train);[outputn,outputps]=mapminmax(output_train);%构建网络net=newff(inputn,outputn,hiddennum);遗传算法参数初始化maxgen=50;%进化代数，即迭代次数sizepop=20;%种群规模pcross=[0.4];%交叉概率选择，0和1之间pmutation=[0.2];%变异概率选择，0和1之间%节点总数numsum=inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum;lenchrom=ones(1,numsum);bound=[-3*ones(numsum,1)3*ones(numsum,1)];%数据范围%------------------------------------------------------种群初始化--------------------------------------------------------individuals=struct('fitness',zeros(1,sizepop),'chrom',[]);%将种群信息定义为一个结构体avgfitness=[];%每一代种群的平均适应度bestfitness=[];%每一代种群的最佳适应度bestchrom=[];%适应度最好的染色体%初始化种群fori=1:sizepop%随机产生一个种群individuals.chrom(i,:)=Code(lenchrom,bound);%编码（binary和grey的编码结果为一个实数，float的编码结果为一个实数向量）x=individuals.chrom(i,:);%计算适应度individuals.fitness(i)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn);%染色体的适应度end%找最好的染色体[bestfitnessbestindex]=min(individuals.fitness);bestchrom=individuals.chrom(bestindex,:);%最好的染色体avgfitness=sum(individuals.fitness)/sizepop;%染色体的平均适应度%记录每一代进化中最好的适应度和平均适应度trace=[avgfitnessbestfitness];迭代求解最佳初始阀值和权值进化开始fori=1:maxgeni%选择individuals=Select(individuals,sizepop);avgfitness=sum(individuals.fitness)/sizepop;%交叉individuals.chrom=Cross(pcross,lenchrom,individuals.chrom,sizepop,bound);%变异individuals.chrom=Mutation(pmutation,lenchrom,individuals.chrom,sizepop,i,maxgen,bound);%计算适应度forj=1:sizepopx=individuals.chrom(j,:);%解码individuals.fitness(j)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn);end%找到最小和最大适应度的染色体及它们在种群中的位置[newbestfitness,newbestindex]=min(individuals.fitness);[worestfitness,worestindex]=max(individuals.fitness);%代替上一次进化中最好的染色体ifbestfitnessnewbestfitnessbestfitness=newbestfitness;bestchrom=individuals.chrom(newbestindex,:);endindividuals.chrom(worestindex,:)=bestchrom;individuals.fitness(worestindex)=bestfitness;avgfitness=sum(individuals.fitness)/sizepop;trace=[trace;avgfitnessbestfitness];%记录每一代进化中最好的适应度和平均适应度endi=1i=2i=3i=4i=5i=6i=7i=8i=9i=10i=11i=12i=13i=14i=15i=16i=17i=18i=19i=20i=21i=22i=23i=24i=25i=26i=27i=28i=29i=30i=31i=32i=33i=34i=35i=36i=37i=38i=39i=40i=41i=42i=43i=44i=45i=46i=47i=48i=49i=50遗传算法结果分析figure(1)[rc]=size(trace);plot([1:r]',trace(:,2),'b--');title(['适应度曲线''终止代数＝'num2str(maxgen)]);xlabel('进化代数');ylabel('适应度');legend('平均适应度','最佳适应度');disp('适应度变量');x=bestchrom;Warning:Ignoringextralegendentries.适应度变量把最优初始阀值权值赋予网络预测%用遗传算法优化的BP网络进行值预测w1=x(1:inputnum*hiddennum);B1=x(inputnum*hiddennum+1:inputnum*hiddennum+hiddennum);w2=x(inputnum*hiddennum+hiddennum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum);B2=x(inputnum*hiddennum+hiddennum+hiddennum*outputnum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum);net.iw{1,1}=reshape(w1,hiddennum,inputnum);net.lw{2,1}=reshape(w2,outputnum,hiddennum);net.b{1}=reshape(B1,hiddennum,1);net.b{2}=B2;BP网络训练%网络进化参数net.trainParam.epochs=100;net.trainParam.lr=0.1;%net.trainParam.goal=0.00001;%网络训练net=train(net,inputn,outputn);BP网络预测%数据归一化inputn_test=mapminmax('apply',input_test,inputps);an=sim(net,inputn_test);test_simu=mapminmax('reverse',an,outputps);error=test_simu-output_test;figure(2)plot(error)k=error./output_testk=Columns1through9-0.00030.00100.00030.00010.0002-0.00050.00030.00030.0109Columns10through18-0.0007-0.00030.0002-0.0008-0.0015-0.00020.00110.00020.0004Columns19through270.00020.0003-0.00000.0000-0.0004-0.00040.00050.00010.0023Columns28through36-0.0000-0.00030.0000-0.0005-0.00020.0003-0.0002-0.00020.0001Columns37through450.00010.00020.00020.0011-0.0004-0.00060.00020.00000.0000Columns46through540.00010.00010.0000-0.00010.00160.0002-0.0003-0.0000-0.0000Columns55through630.00000.0003-0.00040.00010.00020.00020.00020.00000.0002Columns64through720.0002-0.00010.00030.00050.0002-0.0003-0.0001-0.00000.0002Columns73through810.0000-0.0002-0.00020.0002-0.0000-0.00030.0001-0.00010.0006Columns82through90-0.00060.00030.0068-0.00050.0001-0.0001-0.0001-0.0010-0.0002Columns91through990.00010.0002-0.