BP神经网络算法实验报告

中国地质大学（北京）课程名称：数据仓库与数据挖掘班号：131081学号：13108117姓名：韩垚成绩：任课教师：何勇强日期：2010年12月24日BP神经网络算法实验报告1、算法原理反向传播算法（backpropagation,简称BP算法）的出现使这一问题得到解决，也促进了多层前馈网络在应用方面的发展。BP算法是在有导师情况下，建立在梯度下降法基础上的一种算法，适合于多层前馈网络的学习。BP的基础是一个循环计算程序，计算一个复杂的非线性系统当某些中间参数（权值）变化时其输出如何变化；中间参数的调整是沿着输出状态接近希望输出的方向进行的，因此，BP可以看作是以系统的实际输出与希望输出的差别为测度的梯度下降法。BP网络模型处理信息的基本原理是：输入信号Xi通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Yk，网络训练的每个样本包括输入向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值Wij和隐层节点与输出节点之间的联接强度Tjk以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。2、算法设计基本BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。图2-1BP网络结构图中：jx表示输入层第j个节点的输入，j=1,…,M；ijw表示隐含层第i个节点到输入层第j个节点之间的权值；i表示隐含层第i个节点的阈值；()x表示隐含层的激励函数；kiw表示输出层第k个节点到隐含层第i个节点之间的权值，i=1,…,q；ka表示输出层第k个节点的阈值,k=1,…,L；1a1kiwijwLakaqi1xjxMx1okoLo出变量入变量输隐输中国地质大学（北京）课程名称：数据仓库与数据挖掘班号：131081学号：13108117姓名：韩垚成绩：任课教师：何勇强日期：2010年12月24日x表示输出层的激励函数；ko表示输出层第k个节点的输出。（1）信号的前向传播过程隐含层第i个节点的输入neti：1Miijjijnetwx（2-1）隐含层第i个节点的输出yi：1()()Miiijjijynetwx（2-2）输出层第k个节点的输入netk：111()qqMkkiikkiijjikiijnetwyawwxa（2-3）输出层第k个节点的输出ok：111()()()qqMkkkiikkiijjikiijonetwyawwxa（2-4）（2）误差的反向传播过程误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。对于每一个样本p的二次型误差准则函数为Ep：211()2LpkkkETo（2-5）系统对P个训练样本的总误差准则函数为：2111()2PLppkkpkETo（2-6）根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量i。kikiwEw；kkEaa；ijijEww；iiE（2-7）输出层权值调整公式：kikkkkkikkkikiwnetnetooEwnetnetEwEw（2-8）输出层阈值调整公式：kkkkkkkkkknetonetEEEaanetaoneta（2-9）中国地质大学（北京）课程名称：数据仓库与数据挖掘班号：131081学号：13108117姓名：韩垚成绩：任课教师：何勇强日期：2010年12月24日隐含层权值调整公式：iiiijijiijiiijnetynetEEEwwnetwynetw（2-10）隐含层阈值调整公式：iiiiiiiiiinetynetEEEnetynet（2-11）又因为：11()PLppkkpkkEToo（2-12）ikikywnet，1kkneta，ijijnetxw，1iinet（2-13）11()'()PLppkkkkipkiETonetwy（2-14）)(iiinetnety（2-15）'()kkkonetnet（2-16）所以最后得到以下公式：11()'PLppkikkkipkwTonety（2-17）11()'PLppkkkkpkaTonet（2-18）11()'()PLppijkkkkiijpkwTonetwnetx（2-19）11()'()PLppikkkkiipkTonetwnet（2-20）中国地质大学（北京）课程名称：数据仓库与数据挖掘班号：131081学号：13108117姓名：韩垚成绩：任课教师：何勇强日期：2010年12月24日图2-2BP算法程序流程图3、实验结果结束参数初始化：最大训练次数，学习精度，隐节点数，初始权值、阈值，初始学习速率等批量输入学习样本并且对输计算各层的输入和输出计算输出层误差E(q)E(q)ε修正权值和阈值es开中国地质大学（北京）课程名称：数据仓库与数据挖掘班号：131081学号：13108117姓名：韩垚成绩：任课教师：何勇强日期：2010年12月24日