传统BP与遗传算法简介

传统BP与遗传算法简介汇报人：1：单神经元模型2：传统的BP神经网络3：传统的遗传算法4：总结1单神经元模型如图中为神经元的内部状态，为阈值，为输入信号，，为表示从单元到单元的连接权系数，为外部输入信号。iuinj,,1ijwjxiuis神经元模型可描述为：n=1iijjiijNetwxsu()iiiyfNet其中为激活函数（进行非线性化）f1wi2winwiju2传统BP神经网络BP算法又称为误差反向传播算法，它是一个迭代算法，其基本思想是梯度下降法。采用梯度搜索技术，使网络的实际输出值与期望输出值的误差均方值为最小。输入层隐含层输出层1.前向传播：将训练集数据输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果。h111221Z***1wiwib神经元h1的输入加权和：神经元h1的输出：1h11a()1hZSigmoide型激活函数神经元h2的输出：2h21a1hZe神经元h2的输入加权和：h231421Z***1wiwib输入层隐含层：o151622Z***1hhwawab神经元o1的输入加权和：神经元o1的输出：1o11a1oZe神经元o2的输入加权和：o271822Z***1hhwawab神经元o2的输出：2o21a1oZe隐含层输出层：这样前向传播的过程就结束了，之后计算期望值与输出值之间误差，对误差进行反向传播，更新权重与阈值，重新计算输出。2.反向传播：计算期望输出值与实际输出值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；同时在反向传播的过程中，根据误差调整相连神经元的权重和阈值，使得总损失函数减小。计算损失函数：2122211221E(rg)211(rg)(rg)22totalooooootaetoutputEEtaetataeta输出层隐含层：权值与阈值更新（以w5、b2与w1、b1为例）：w5对整体损失产生的影响：115115**totaltotalooooEEazwazw由梯度下降法，权值的修正值与E的梯度成正比，更新w5、b1：w[phone]**:totaltotalEEwwbbwb学习率隐含层输入层：w1对整体损失产生的影响：111111out**outtotaltotalhhhhEEnetwnetw更新w1与b1：+1111211**totaltotalEEwwbbwb同理可以求出其它权值与阈值，通过不断迭代上述三个步骤，更新权重与阈值（即对数据进行反复训练），直到误差满足条件后停止。由于传统的BP网络是通过梯度下降法进行学习，随机生成权值和阈值，如果这两个初始参数选择不当，网络就会出现局部最优或收敛速度慢等问题。3遗传算法遗传算法（GeneticAlgorithm,GA）借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一种高效、并行、全局搜索的优化方法。GA中每一条染色体，对应着一个解决方案，一般我们用适应性函数来衡量这个解决方案的优劣。所以从一个基因组到其解的适应度形成一个映射。可以把其过程看作是一个在多元函数里面求最优解的过程。例如我们用GA算法在既定的区间找到以下函数的最大值()sin(10)2[1,2]fxxx1.个体编码将x表达为基因的过程，称之为编码，常见的编码格式有二进制编码和浮点编码。此处采用9位二进制进行编码：将x的区间[-1,2]进行编码：那么其精度为：92(1)2e离散点-1到离散点2，分别对应于从000000000(0)到111111111(512)之间的二进制编码000000000或111111111都表示一个个体的基因型（如果有多个变量，则直接串联起来构成一个基因型），表示一个可行解2.初始群体的产生遗传算法是对群体进行的进化操作，需要给其淮备一些表示起始搜索点的初始群体数据。本例中，群体规模的大小取为103.适应度计算遗传算法中以个体适应度的大小来评定各个个体的优劣程度，从而决定其遗传机会的大小。本例中，由于是以求函数最大值为优化目标，故可直接利用目标函数值作为个体的适应度()ifx则各个个体被选中的概率（生存概率）为：00101()100()iiiifxPfx4.选择运算进行优胜劣汰的方法是：每次从群体中随机抽取p个人，将p个人中适应度最好的保留下来，重复N次，得到N个保留下的个体形成下一代。很明显，适应度评分越高的个体被选中的概率越大。5.交叉运算交叉指的是交换染色体片段后产生两个新的后代，例如典型的单点交叉方式：随机选择两个个体组成一个父母对进行交叉，按照以下的方式产生新的子代。6.变异运算变异的作用，指的是染色体的某个基因片段或者某个基因点发生突变。例如单点突变可以通过下图进行表示：突变的作用，是希望能够摆脱局部最优点，往更好的地方去。但是效果具有很大的随机性。7.个体解码将个体解码为十进制公式为：t93121ixx遗传算法流程图：效果图：第一代适应度的平均值为2.025，最大适应度值为3.483，经过97代遗传选择后适应度平均值达到3.811，最大适应度值为3.843，可见得到了很好的收敛，并最终稳定在最右侧顶峰。谢谢！