基于在线学习方法的BP神经网络训练算法研究

华中科技大学硕士学位论文基于在线学习方法的BP神经网络训练算法研究姓名：张廆申请学位级别：硕士专业：计算机应用技术指导教师：马光志20090528华中科技大学硕士学位论文I摘要反向传播神经网络(BackPropagationNeuralNetwork,BPNN)具有良好的非线性映射能力，在决策支持系统中得到了广泛的应用。传统的BPNN在采用昀速下降法训练时，存在训练速度缓慢、容易陷入局部昀优等问题，难于在数据趋势变化较快的互联上用于决策支持。传统的离线的BPNN训练算法每次都对全体样本进行训练，这种离线的训练方式一方面导致训练速度迟缓，另一方面也容易使BPNN陷入局部昀优。针对上述问题提出了一种性能良好的在线BP算法，在新样本的成批或单独到来时学习并更新连接权值；同时采用自适应的可变步长的学习速率，利用先前的样本训练信息来更新本次样本的学习速率，使网络每次以昀佳的学习速率逼近误差曲面的全局昀低点。另外，在对离线AdaBoost算法研究的基础上，提出了在线Boosting性能提升算法，并构造了一种可与在线BPNN训练算法结合的分类器选择器模型，开发了离线、在线和Boosting算法验证系统。采用加州大学欧文分校(UCI)的标准数据集，分别对离线训练和在线训练、离线AdaBoost和在线Boosting训练算法进行了实验对比。实验结果表明，在线算法同离线算法相比，极大地提高了训练速度；在线Boosting分类器选择器模型同离线AdaBoost相比，在达到同等预测精度时需要更短的训练时间。实验表明，基于分类器选择器模型的强组合分类器具有训练误差更小，预测精度更高的优点。关键词：人工神经网络，性能提升，在线学习，在线提升华中科技大学硕士学位论文IIAbstractBackPropagationNeuralNetwork(BPNN),whichpresentsagoodabilityofnonlinearmapping,iscommonlyusedindecisionsupportsystem.TraditionalBPNNwithgradientdescentmethodsuffersfromproblemssuchaslowtrainingspeedandeasilytrapsinlocalminimal,whichisunabletobeappliedtotheInternetbaseddecisionsupportsystemwithrapidchangingspeed.Traditionaloff-linetrainingalgorithmofBPNNprocessesallthetrainingsetthroughthenetworkeachtime,whichleadstolowtrainingspeedandeasilytrapsinlocalminimal.Anonlinelearningmethodhasbeenproposedinordertosolvetheabovedrawbacks.Theonlinemethod,whichupdatesthenetworkaftereachsinglesamplearrivals,adoptsanadaptivestepsizemethodwhichutilizesthetraininginformationofprevioussamplestodecidethecurrentlearningrate.Meanwhile,basedonthestudyofoff-lineAdaBoostmethod,anonlineBoostingmethodhasbeenproposedtogetherwithanewclassifierselectormodel,whichcanbecombinedwiththeonlineBPNNalgorithmtoformastrongcombinedonlineclassifier.ExperimentswhichbasedonthedatasetsfromUCIstandardDataSetaredesignedtomakecomparisonbetweentheperformanceofoff-linetrainingandonlinetrainingalgorithm,off-lineAdaBoostandonlineBoostingmethod.Experimentresultsshowthatonlinelearninghasgreatlydecreasethetrainingtimeexpensecomparedwithoff-lineBP,andthestrongcombinedclassifierwithonlineBoostingconsumesshortertrainingtimecomparedwithoff-lineAdaBoostwhileachievingthesamepredictingaccuracy.Keywords:NeuralNetwork,PerformanceBoost,OnlineLearning,OnlineBoosting独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密□，在_____年解密后适用本授权书。不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文11绪论机器学习作为计算科学、模式识别和智能计算等多学科交叉的综合学科，在工业控制、金融分析、生物医学和医疗健康等领域得到了深入地研究和广泛地应用。随着对机器学习研究的深入和其应用领域的不断扩展，大量新的问题不断出现，分类器的在线学习便是其中之一。在线学习(onlinelearning)是区别于离线学习(offlinelearning)或成批学习(batchlearning)的一种具有动态学习性能的机器学习方法。传统的神经网络学习方法大多采用离线学习的方式，该方式下网络的参数值是在大量样本提交训练之后才进行调整，离线学习虽然能使神经网络在系统工作之前预先形成网络结构，但实际系统往往存在着参数不可测性和时变性，以及学习样本不可能覆盖系统所有的工作范围，使得离线学习甚至没有有效的历史观测值可供利用[1]。在线学习则是在每个样本提交之后就对样本进行训练，根据训练结果实时地对网络的参数值进行调整。采用在线学习训练方式的网络更加适合具有时变不确定性、需要自适应控制的系统，例如：机器人轨迹跟踪[2]、空间机械手[4]、倒立摆系统[5]、汽车刹闸系统[6]和电液伺服系统[7]等。在线学习所具备的实时修正和反馈的能力使网络构成一种监督控制结构，让控制和学习同时进行，并有效保证系统的稳定性。1.1课题的研究背景和意义本课题的研究背景是国家高新技术研究计划(863)项目——基于网格的数字化医疗决策支持系统，编号2006AA02Z347。将神经网络应用到医疗数据的挖掘是当前的研究热点之一。医疗决策支持系统是神经网络应用到医疗数据的挖掘的一个典型应用。在医疗决策支持系统中，通过将病人的健康数据、遗传信息和临床数据等医疗信息进行整合，建立好相应的神经网络模型，可以分析不同致病因素对疾病的影响，挖掘疾病特征和内在规律，以达到对典型疾病进行预测与诊断的目的[8]。华中科技大学硕士学位论文2在人工神经网络的实际应用中，BP神经网络是应用昀广泛的一种网络，它使用的是反向传播算法(back-propagationalgorithm)。该算法采用梯度下降方法，根据每次的训练误差对网络参数进行修正。传统的梯度下降方法对网络参数的调整缓慢，使得采用反向传播算法的网络训练时间长，收敛速度缓慢。在实际应用中，特别是在数据信息量巨大的医疗决策支持系统中，不得不考虑收敛速度和训练时间的问题。以往的研究主要集中在如何提高神经网络的训练速度和泛化性能以及避免陷入局部极小等问题上面，对神经网络在线学习算法的研究并不多。相比传统的离线学习的方式，在线学习更加适合具有时变不确定性、需要实时控制的系统，而这样的系统在现实应用中比比皆是。特别的，针对医疗信息数据这种数据量巨大的系统，在线学习的学习速度要远高于离线学习，因为在线学习是按照样本的到来一个接一个地训练网络，而不用像离线学习那样每次迭代都对所有样本进行训练。因此，研究分析已有的神经网络在线学习算法，通过比对分析，结合理论与实验，提出一种具有良好性能的在线学习算法是本课题的目的所在。1.2国内外研究概况人工神经网络在1943年由McCullo和PittS提出，经过近一个世纪的研究和发展，至今已提出了30多种网络模型[8]，其中以误差反向传播(BP)网络模型应用昀为广泛。对于如何提高BP网络的收敛速度、泛化性以及避免局部极小等方面，各国学者都展开了大量的研究，提出了多种改进算法。同时针对离线BP算法易陷入局部极小的缺陷，研究者提出了采用在线BP算法来替代离线BP算法，并从理论上证明了在线BP算法的收敛性。下面分别从BP算法的改进算法、在线BP算法和Boosting算法三个方面对课题的研究状况进行综述。1.2.1BP算法研究进展BP算法采用误差反向传播的原理调整网络参数，因而具有很强的非线性逼近能力和泛化能力。但其也存在诸如训练收敛速度缓慢，网络隐含层层数和节点数难以确定华中科技大学硕士学位论文3以及容易陷入局部昀小值等缺点。针对BP算法以上的这些缺点，国内外很多学者展开研究，提出了多种BP算法的改进方法。反向传播算法的实现原理决定其收敛速度依赖于学习速率，学习速率的选择不当是标准BP算法收敛速度慢的重要原因之一。学习率过小，收敛过程缓慢；学习率过大，则可能产生振荡。针对固定学习率的缺陷与不足，Magoulas提出了学习率可变的可变步长法[10]。相比传统BP训练算法固定学习率的方法，可变步长法能够根据每一次迭代过后训练误差的变化来调整学习步长，使逼近过程始终能够以昀佳的学习率进行，从而有效的提高了训练速度。针对传统BP算法在训练过程中存在容易产生的振荡现象，余晓[11]提出了附加动量项的BP算法。传统的BP算法根据训练误差对网络权值的梯度修正权值和阈值，而附加动量法使BP神经网络除了计算误差梯度之外，还需要考虑当前误差梯度值和前一次误差梯度值的正负值，即引入了历史信息。但是采用附加动量法学习速度会有所下降，无法满足实时工作的需要。文献[12]将可变步长法和附加动量法结合起来，即在缩短训练时间的同时也有效地避免了陷入局部极小值。Martin在论文[13]中提出了弹性BP算法。与传统BP算法由学习率和训练误差梯度决定网络权值的更新值的方法不同，弹性BP算法采用更新量Δij(t)来确定权值的改变，从而避免了训练过程中梯度值不断减小所导致的网络收敛速度变慢的现象。相比传统的BP算法，弹性BP算法训练速度和精度有了很大的提高。1.2.2神经网络在线学习算法研究进展按照神经网络学习样本方式的不同，可将神经网络训练算法分为离线学习算法和在线学习算法两类。如果网络的权值是在整个训练集提交后才进行调整，这种学习方式被称为离线(offline)或成批(batch)方式。在线学习(onlinelearning)则是在每个样本提交之后就对样本进行训练，根据训练结果实时地对网络的参数值进行调整。传统的神经网络训练算法大多采用离线的方