基于遗传算法的BP神经网络算法

基于遗传算法的BP神经网络算法目录•1.简要介绍BP网络算法•2.简要介绍遗传算法•3.介绍基于遗传算法的BP网络迭代流程BP神经网络(BackPropagationNeuralNetwork)•其主要的学习过程是：将输入从输入层经隐层单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则将误差信号沿原来的连接通路反向传播，通过梯度下降法修改各神经元的权值，使误差信号最小。梯度下降•循环求导更新w直到E(w)取得最小值，如果函数E(w)包含多个变量，那么就要分别对不同变量求偏导来更新不同变量的值。局部极小化问题•传统的BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。遗传算法(GeneticAlgorithm)•遗传算法是一种用于全局优化搜索的迭代算法•模仿生物的遗传进化原理，通过选择(Selection)、交叉(Crossover)、变异(Mutation)等机制，使种群中个体的适应性(Fitness)不断提高•核心思想：适者生存遗传算法特点•优点：•1）良好的并行性（操作对象是一组可行解；搜索轨道有多条）•2）强大的通用性（只需利用目标的取值信息，无需梯度等高价值信息）•3）良好的全局优化性和鲁棒性•4）良好的可操作性•缺点：•1）大量计算（涉及到大量个体的计算，当问题复杂时，计算时间是个问题）•2）稳定性差（算法属于随机类算法，需要多次运算，结果的可靠性差，不能稳定的得到解）遗传算法基本流程•Step1：开始•Step2：参数编码•Step3：初始化种群•Step4：计算适应度•Step5：判断是否满足终止条件，满足则直接执行Step10•Step6：执行选择操作•Step7：执行交叉操作•Step8：执行变异操作•Step9：产生新种群，返回执行Step4•Step10：结束基于遗传算法的BP神经网络•通过遗传算法优化BP神经网络的权值和阈值，可以达到克服BP神经网络原有的缺陷。种群中每个个体都包含一个网络所有权值和阈值，个体适应度的值由个体通过适应度函数来计算，遗传算法通过选择、交叉和变异操作找到最优适应度值对应个体。经过以上计算就得到了最适合的BP神经网络的网络初始权值和阈值。基于遗传的BP算法流程图开始结束参数编码初始化种群计算适应度是否满足终止条件交叉操作变异操作产生新种群选择操作优化网络结构否是参数编码选择操作(Selection)•M个样本产生的均方误差：•适应度(Fitness)：•根据各个染色体的适应度函数值，利用轮盘法进行复制操作交叉操作(Crossover)•DNA1•DNA2•NEWDNA交叉概率：变异操作(Mutation)•变异概率：性能比较BP算法实验时，选用的样本数是550，学习速率α=0.7，输人层结点14个(共有14个特征点)，输出层共有5个，隐含层9个。BP一GA算法实验时，选用的样本数是550，交换概率Pc=0.7，变异概率Pm=0.2，输人层结点14个，输出层结点5个，隐含层9个，种群规模300个。回填区地表沉降系数预测模型实验结果小结•基于遗传算法的BP神经网络算法结合了两个算法的优点，克服了BP算法中学习效率低、收敛速度慢、容易陷入局部最优等缺点。•但是应当注意到，由于BP一GA算法在扩大种群规模的时候，其用于存储染色体的存储空间直线变大，对于网络结构比较复杂的神经网络更是如此，这也是该算法的一个缺点，有待于改进。参考文献•[1]周志华.机器学习[M].北京,清华大学出版社,2016:97-107.•[2]WenyuLv,MengWangandXinguangZhu.ModelforpredictionofsurfacesubsidencecoefficientinbackfilledcoalminingareasbasedongeneticalgorithmandBPneuralnetwork[J].JournalofComputationalMethodsinSciencesandEngineering16(2016)745–753.•[3]王崇骏.一种基于遗传算法的BP神经网络算法及其应用[J].南京大学学报(自然科学),2003,39(5).•[4]Xiao-MinMA,XinW.AnimprovedBPneuralnetworkalgorithmbasedongeneticalgorithm[J].JournalofYunnanUniversity,2013.•[5]DingS,SuC,YuJ.AnoptimizingBPneuralnetworkalgorithmbasedongeneticalgorithm[M].KluwerAcademicPublishers,2011.THANKS