基于局部泛化误差界的RBF网络训练方法研究报告人刘晓艳

基于局部泛化误差界的RBF网络训练方法研究报告人：刘晓艳主要内容课题来源及背景和意义研究现状及分析所做的工作遇到的问题及进一步的工作参考文献课题来源及背景和意义RBF神经网络的结构选择中，即隐含层神经元个数的确定问题，一直是难点。合理的选择其结构会提高RBF神经网络的泛化能力。局部泛化误差模型，考虑分类器在输入空间局部区域上的泛化能力。对于量化的考察对于网络的容错能力（error-tolerance）和泛化能力(generalizationability)有一定启发意义。神经网络的敏感性标示着这种分类器的variance特性，而经验误差的大小则是标示着分类器的bias特性，将两者有机的结合起来作为一种评价分类器泛化能力的标准可能会有很好的效果。（criteria）研究现状及分析介绍局部泛化误差模型现状敏感性SM(sensitivitymeasure)敏感性定义及其计算敏感性用途ConstructiveforneuralnetworkCenterselectionFeature/sample/weightaccuracyselection敏感性定义及其计算定义：衡量网络输出对于输入或权重（或其他的参数）的扰动而改变程度的定量度量。对象上：SensitivitytoinputperturbationSensitivitytoweightperturbationSensitivitytoneuronperturbation计算方式上：Partialderivativesensitivityanalysisstochasticsensitivityanalysis要求激活函数对于输入是可微的并且输入扰动必须很小考察输出变化的期望或方差概率特性敏感性的应用正是由于敏感性考察网络各参数的变化对于网络输出的影响程度，因而，基于敏感性分析来优化或调整各参数的选择即成为它的主要应用方向。敏感性引用于RBF神经网络的中心选择（结构选择）1.“Sensitivityanalysisappliedtotheconstructionofradialbasisfunctionnetworks”－－－D.Shia,D.S.Yeung,J.Gao2.“LOCALIZEDGENERALIZATIONERRORANDITSAPPLICATIONTORBFNNTRAINING”－－－WINGW.Y.NG,DANIELS.YEUNG,DE-FENGWANG,ERICC.C.TSANG,XI-ZHAOWANG3.“Hiddenneuronpruningmultilayerperceptronsusingasensitivitymeasure”－－Daniels.yeung，xiao－qinzeng敏感性用于sampleselection（Activelearning）“ActiveLearningUsingLocalizedGeneralizationErrorofCandidateSampleasCriterion”－－PatrickP.K.Chan，WingW.Y.Ng，DanielS.Yeung敏感性用于featureselectionwing研究现状及分析现存的局部泛化误差模型理论22()122()(()())()11(()())(2)(())QQbQSMSNnSxbempSRQfxFxpxdxfxFxdxNQREyAdifferencesbetweenthemaximumandminimumvaluesofthetargetoutput分类问题中，目标输出的最大最小值之差至少为1，那么将该模型用于结构选择时就会出现问题。研究现状及分析现存的局部泛化误差模型用于RBFNN的结构选择思想：两个分类器f1，f2，如果存在Q1，使得f2hasabetterGeneralizationcapabilityRSM（Q1）＝a,forf1RSM（Q2）＝a，forf2Q1Q2在相同误差界标准下，设计分类器使得它覆盖的Q邻域比较大，认为覆盖的邻域面积越大，得到的分类器的泛化能力越好。分析：界的阈值a的取值标准难以确定，现存的方法建议a取0.25，这样在解上述二次方程时就会出现问题。研究现状及分析22(())QempSREyAa分类问题中取值大于10.251.由于在解方程时存在矛盾之处，造成该模型用于RBFNN结构设计时存在问题。2.有关界的表达式，存在常数A其值是否相对过大的问题，相对于前两项如果取值过大的话，其失去意义。3.单纯的将经验误差作为训练RBF分类器的标准的话，存在过拟和以及得到的分类器的泛化能力不高的缺点。所做的工作将经验误差项和敏感性项的加和做为一种新的评价分类器泛化能力的标准（QNB－Qneighborhoodbalance）。考察其合理性。将QNB用于RBFNN的结构选择，设计网络结构。用范数形式简化现有的局部泛化误差模型的分析表达式。得到一种基于范数的局部泛化误差界的分析式。QNB作为一个衡量分类器评价标准的合理性empQNBRSMmeasureforclassifiercomplexity图示（1）：“simple”classifierLowSM，butbadtrainingerrorQNB作为一个衡量分类器评价标准的合理性图示（2）：“complex”classifierhighSM，butbadgeneralizationcapabilityandmaybeoverfittingVC维较大QNB作为一个衡量分类器评价标准的合理性图示（3）：“goodfit”classifier，whatweexpectedGoodbalancebetweenTrainingerrorSMQNB作为一个衡量分类器评价标准的合理性(实验)Sensitivitymeasure衡量RBFNN复杂程度IrisdatasetIonospheredatasetQNB作为一个衡量分类器评价标准的合理性(实验)Hiddennumber（K）QNB用于RBFNN的结构选择(architectureselection)Algorithm:Step1:Startwiththenumberofthehiddenneuronsby1.Step2:Performk-meansclusteringtofindthelocationofcentersforthehiddennumbers.Step3:Selectthewidthofeachneurontobehalfofthemaximumdistancebetweenthecenteritselfandotherneurons.Step4:Usingpseudo-inversemethodtoobtaintheweight.Step5:ForaselectedQvalue,computethecurrentneuralnetworkserrorboundbythefollowingequation:22emp11R(()())()QNiiSiSTSMfxFxEyNStep6:Findtheminimumerrorbound,andoutputthecorrespondinghiddenneuron’snumber.初步实验情况Hiddennumber9138871097798.7(average)Trainaccuracy0.96190.98100.92380.97140.95240.96190.97140.96190.98100.97140.9638(average)Testaccuracy0.93330.95560.866710.93330.97780.93330.91110.95560.93330.9400(average)(Iris,Q=0.1)information：4×150，3classes(Pima,Q=0.1)information：8×768，2classesHiddennumber2322151817222226182120.4(average)Trainaccuracy0.79890.78770.79140.78030.78770.79520.80820.80070.80070.79520.7946(average)Testaccuracy0.77490.77060.76620.74890.76620.77920.73590.74890.77490.76190.7628(average)初步实验情况Hiddennumber78879797887.8000(average)Trainaccuracy0.95970.99190.97580.98390.98390.95970.97580.95970.97580.97580.9742(average)Testaccuracy0.92590.944410.90740.98150.98150.94440.96300.98150.96300.9593(average)(Wine,Q=1.5)information：13×178，3classesHiddennumber1718161519181418161616.7（average）Trainaccuracy0.91840.93880.93470.91430.94690.93470.94290.95100.93470.92240.9339（average）Testaccuracy0.92450.92450.95280.93400.91510.92450.92450.90570.94340.93400.9283（average）(Ionosphere,Q=1.0)information：34×351，2classes初步实验情况Hiddennumber1718211618171417151616。9（average）Trainaccuracy0.97000.97300.97900.97000.97300.97000.97900.98200.97900.97600.9751（average）Testaccuracy0.97220.97220.95830.97920.97220.97220.95140.94440.95140.97220.9646（average）(Datazhao,Q=0.5)information：25×477，5classes遇到的问题及进一步的工作实验结果显示了算法的可行性，在保证分类精度的前提下，最后选择的隐含层个数比较少，网络结构比较精简。SM(sensitivitymeasure)与RBFNN的隐含单元个数之间的关系描述为：小振荡爬升。（非严格单调）这样，SM作为网络复杂程度的度量的话是比较粗的估计。QNB作为measureforclassifiergeneralizationcapability的理论依据。目前QNB中的两项采用的线性组合的方式，能否考虑用其他方式将这两参数信息融合后作为一个新的参量标准，用RBFNN的architectureselection如何？QNB能否用于对于RBFNN中心位置的选择？（Supervisedlearning）参考文献[1]D.Shi,D.S.Yeung,J.Gao“Sensitivityanalysisappliedtotheconstructionofradialbasisfunctionnetworks”,NeuralNetworks18(2005)951–957[2]WingW.Y.Ng,DanielS.Yeung,IanCloete,“QuantitativeStudyonEffectofCenterSelectiontoRBFNNClassificationPerformance”,2004IEEEInternationalConferenceonSystems,ManandCybernetics.[3]WingW