BP神经网络算法

BP神经网络算法脑神经网络脑神经元思维活动脑神经网络的一个功能经验→决策去哪吃饭？人工神经网络的功能历史数据预测分类BP神经网络J.McClellandDavidRumelhart1985年，Rumelhart和McClelland提出了误差后向传播（BackPropagation)学习算法，BP神经网络是目前应用最广泛的神经网络模型之一。BP神经网络的结构神经节点BP神经网络结构BP神经网络的一个实际应用BP神经网络的一个实际应用红色数据为学习数据蓝色数据为验证数据BP神经网络的一个实际应用•设计神经网络模型：其中蓝色节点为神经节点BP神经网络的一个实际应用•将第一年的数据进行归一化处理：minmaxminxxxxyx是处理前的值y是处理后的值xmin是样本最小值xmax是样本最大值BP神经网络的一个实际应用•初始化BP神经网络参数：1.权重值w均为0.12.偏倚值θ均为0.23.学习率l为0.4初始化的参数一般为[-1,1]之间随机产生的小数。BP神经网络的一个实际应用•将输入层数据导入隐藏层第一个神经节点内进行运算：jiiijjxwIjIjjeIfx11)(208.03I552.03xwij是权重，0.1θj是偏倚，0.2f(x)是激活函数x1=0x2=0.08BP神经网络的一个实际应用•将输入层数据导入隐藏层第二个神经节点内进行运算：jiiijjxwIjIjjeIfx11)(208.04I552.04xwij是权重，0.1θj是偏倚，0.2f(x)是激活函数x1=0x2=0.08BP神经网络的一个实际应用•将隐藏层数据导入输出层神经节点内进行运算：jiiijjxwIjIjjeIfx11)(3104.05I577.05xwij是权重，0.1θj是偏倚，0.2f(x)是激活函数x3=x4=0.552BP神经网络的一个实际应用•由于计算输出值与真实值之间存在误差，所以需要对神经网络的参数进行调整。577.055xO计算输出值：实际值：05TBP神经网络的一个实际应用•首先计算输出节点的数据误差。577.055xO输出值：实际值：05T))(1(jjjjjOTOOErr输出层节点j的误差：1408.05ErrBP神经网络的一个实际应用•接下来计算隐藏节点的数据误差。输出层节点5的误差：1408.05Err隐藏层节点j的误差：kjkkjjjwErrOOErr)1(552.033xO552.044xO隐藏层节点3的输出：隐藏层节点4的输出：权重均为0.10035.043ErrErr其中，wjk是该节点到下层节点的权重，Errk是节点k的误差。BP神经网络的一个实际应用•调整各节点的权重：ijijOErrlw)(权重更新公式：l为学习率，取值0.4ijijij1408.05Err01O552.043OO0035.043ErrErr08.02O031.04535ww01413ww000112.02423wwBP神经网络的一个实际应用•这样就得到了调整后的权重：069.04535ww1.01413ww999888.02423wwBP神经网络的一个实际应用•调整各节点的偏倚：jjErrl)(偏倚更新公式：jjj1408.05Err2.05430035.043ErrErr0281.050014.030014.041719.051986.041986.03BP神经网络的一个实际应用•将参数更新之后就可以继续处理第二年的数据，直到八年的数据全部输入运算完毕，这就是神经网络的一个训练周期。BP神经网络的一个实际应用•循环的终止在每个训练周期之间我们要对输出数据和真实数据之间的误差进行分析，如果误差值在我们允许的范围之内，那么神经网络的训练就可以停止了。另外一种让训练停下来的办法就是预设一个值，如果当前训练的周期数超过这个值，那么训练就必须停止。BP神经网络的一个实际应用•验证神经网络的准确性如果误差在允许的范围之内就可以进行预测了总结BP神经网络的学习过程：正向传播：输入层隐藏层输出层误差的反向传播：输出层隐藏层BP算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。谢谢