BP算法学习率自适应性研究

BP算法学习率自适应性研究摘要：BP算法的有效性在某种程度上依赖于学习率的选择，由于标准BP算法中学习率固定不变，因此其收敛速度慢，易陷入局部极小值。针对此问题，通过分析BP神经网络的误差曲面可知，在误差曲面平坦区域需要有较大的学习率，在误差变化剧烈的区域需要有较小的学习率，从而加快算法的收敛速度，避免陷入局部极小值。原有BP算法的不足：虽然BP网络在现有的神经网络应用中占了相当大的比重，但是它仍然存在着一些不足。如：学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的。BP网络结构介绍：BP神经网络一般具有三层或三层以上，包括输入层、中间层(隐藏层)和输出层，其中隐藏层可以一个或多个。上下层之间实现全连接，而每层神经元之间无连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层各神经元获得网络的输入响应。接下来，按照减少目标输出与误差的方向，从输入层经过各中问层逐步修正各连接权值和偏置，最后回到输入层，随着这种误差逆传播修正不断地进行，网络对输出模式相应的正确率也不断上升。BP算法实现步骤：1）初始化2）输入训练样本对，计算各层输出3）计算网络输出误差4）计算各层误差信号5）调整各层权值6）检查网络总误差是否达到精度要求满足，则训练结束；不满足，则返回步骤2）自适应学习率BP算法为了加速收敛过程，提出了一种自适应调节学习率的方法。其基本思想为：先设定一个初始学习速率，当实际输出与期望输出差别较大时，若一次迭代后误差增大，则说明这次迭代是无效的，将速率乘以小于1的常数，按原来方向重新计算下一个迭代点；若一次迭代后误差减小，则说明这次迭代是有效的，将学习速率乘以大于1的常数，继续进行下一次迭代。实验结果及分析：