一种新型学习算法极限学习机当前研究

0大连大学论文题目：一种新型学习算法极限学习机当前研究姓名：邹全义学科、专业：计算机科学与技术年级：2015级日期：2016年7月1摘要机器学习是当今大数据时代的核心研究方向，机器学习的研究成果被广泛应用到模式识别、计算机视觉、数据挖掘、控制论等领域当中，并渗透到人们日常生活的方方面面当中。而在机器学习的研究当中，预测、分类的研究占据着重要的地位，预测、分类模型的性能往往是一个应用成果与否的关键。数据挖掘，如支持向量机（SVM)、极限学习机（ELM)等，的潜力已经成为了当今机器学习的主流研究方向。传统前馈神经网络采用梯度下降的迭代算法去调整权重参数，具有明显的缺陷；（1）学习速度缓慢，从而计算时间代价增大；（2）学习率难以确定且易陷入局部最小值；（3）易出现过度训练，引起泛化性能下降。这些缺点制约迭代算法的前馈神经网络的广泛应用。针对这些问题，近几年来，许多学者研究极限学习(ELM)算法，该算法仅通过一步计算即可解析求出学习网络的输出权值，同迭代算法相比，极限学习机(ELM)算法提高了神经网络的学习速度。关键词：神经网络；极限学习机；分类；回归；数据挖掘2目录摘要.......................................................................................................................................1目录.........................................................................................................................................21.ELM算法概述......................................................................................................................33.当前ELM的研究状况...........................................................................................................64.几种ELM结构选择方式的对比...........................................................................................8总结.........................................................................................................................................11参考文献.................................................................................................................................1231.ELM算法概述虽然神经网络研究经过五十多年的发展，已经取得了诸多显着的理论成果，但由于大规模系统中大数据量，高维度的数据中包含的高不确定性，都使得神经网络辨识速度缓慢而难于满足实际要求。例如在数据挖掘、智能控制领域，使用神经网络控制方法虽然可以辨识高度复杂和非线性系统，解决被控对象复杂和高不确定时的建模问题，但神经网络的实时性是非常差，学习时间过久。此外，对于大中型数据集的系统辨识和分类、回归问题，传统神经网络方法如BP网络、RBF网络、SVM算法等不仅需要大量的训练时间，还会出现“过饱和”、“假饱和”和最优化隐含层节点数目难以确定等各种问题。2004年南洋理工大学HuangG.B.教授等人提出了ELM算法。极限学习机（ELMExtremeLearningMachine)是一种快速的单隐含层神经网络（SLFN）[1,2]。ELM神经网络和BP神经网络、RBF神经网络一样，都是SLFN(single-hiddenlayerfeedforwardneuralnetwork)。近几年来相继提出了基于极限学习的多种神经网络学习算法，将神经网络研究又推进了一步。在传统的人工神经网络中，网络的隐含层节点参数是通过一定的迭代算法进行多次优化并最终确定的。这些迭代步骤往往会使参数的训练过程占用大量的时间，并且，例如BP算法很容易产生局部最优解，从而使网络训练过程的效率得不到保证，同时迭代耗时比较多。图1.1为增强构建网络的整体性能，ELM神经网络的隐含层到输出层的之间的连接不需要迭代，该算法的特点是在网络参数的确定过程中，隐含层节点参数随机选取，在训练过程中无需调节，只需要设置隐含层神经元的个数，便可以获得唯一的最优解;而网络的外权（即输出权值）是通过最小化平方损失函数得到的最4小二乘解，最终化归成求解一个矩阵的Moore-Penrose广义逆[3]。这样网络参数的确定过程中无需任何迭代步骤，从而大大降低了网络参数的调节时间。与传统的训练方法相比，该方法具有学习速度快优点，可以采用最小二乘原理求出[4]。};,....,{X21nxxx为数输入数据},...,{21nyyyY为输出数据，iiba,表示第i个隐含层的参数，）（iiixba,,G为第i个隐含层的启动函数，i是第i隐含层都输出层的连接权值，针对于训练集（X，Y）具有以下关系；LijiiXbaGf1),,()X(ie是训练集中第i样本误差即;)(iiiyxfeTYT；）（njiLijiiinjjLyxbaGe11121|),,(|,....,;B),,(.......),,(G:::),,(.......),,(H21111111LLNnLLnLLxbaGxbaxbaGxbaG：，令；则可以表示成　THBTHBELM算法:①Input:给定训练样本集{X，Y}层输出函数),,(iiixbaG和隐含层节点个数L.②随机生成隐含层的参数iiba,；③计算隐含层输出矩阵H;④Output:网络外权THB；其中,加法型隐含层节点的单隐含层神经网络的启动函数可以选作任意有界非常数分段连续函数;而对于RBF型隐含层节点的单隐含层神经网络,启动函数可以选作任意分段连续可积函数。数据压缩、特征学习、聚类、回归和分类是机器学习和机器智能的基础。极(2.1)(2.2)(2.3)5限学习机的目标实现这五种基本学习操作[5]。2.2图近年来，极限学习机（ExtremeLearningMachine,ELM）作为一种新兴的机器学习方法，在全世界许多研究者的不断研究下，已经成为了一个热门研究方向。极限学习机主要有以下四个特点：（1）极限学习理论探讨了神经网络、机器学习领域悬而从未决的问题：在学习过程中隐含层节点数目，神经元之间的权值是否需要调整。与传统神经网络有所不同，在理论父母已经证明，对于ELM神经网络和学习算法，隐含层节点，神经元不需要迭代式的调整，而早期工作并没有提供随机隐含层节点前馈神经网络的理论基础。（2）极限学习机的相同构架可用作特征学习，聚类，回归和（二类/多类）分类问题。（3）相比于极限学习机，支持向量机（SVM）和最小二乘支持向量机（LS‐SVM）趋向于得到次优解。支持向量机和最小二乘支持向量机也没考虑多层前馈网络中隐含层的特征表征[6]。63.当前ELM的研究状况我们知道神经网络的学习速度是至关重要的，但目前的情况远远小于我们要求的，多年来，它都是其应用的一个瓶颈，主要有两个原因：（1）基于梯度的慢的学习算法，（2）神经网络中的参数需要迭代调整。比如说BP。为此，黄广斌等2004年针对单隐含层前馈神经网络（SLFNs）提出了ELM算法，并在2006年对ELM做了进一步研究，给出了部分理论证明及应用[1,2]。但是该算法同时也有一些缺点，主要是网络结构的确定没有启发性算法，只能随机指定隐含结点个数，隐含层结点个数的多少直接影响了分类器最后的精度和性能[7]，此外尽管随机指定隐含层权值和偏置使得网络的学习速度很快，但也同时使得该网络不稳定，两次独立的实验结果可能会相差较大，网络输出波动较大。另外对于该算法中随机指定权值和偏置能否使网络具有一致逼近能力有待进一步证明。针对ELM的这些优点和缺点，近年来众多专家学者投身于其研究中研究方向如下：(1)随机生成参数的优化：由于隐含层节点参数随机选取,从而使得隐含层不具有调节能，,因此，隐含层元在构建的单隐含层网络中不具有多大的作用。在不影响ELM算法学习能力和预测能力的情况之下，对其隐含层进行优化显得更加重要。在2010年HuangG.B.和LanY.等提出CS_ELM[8]和TS_ELM[9]，用不同的方法对随机生成的隐含层节点参数进行筛选，淘汰显着性较弱的隐含层,来实现对已得ELM算法的优化。2011年,WangY.G.,CaoF.L.和YuanY.B.提出了对角占优的方法(EELM)[10]来优化隐含层节点参数，因此保证了隐含层输出矩阵的非奇异性，提高了ELM算法的稳定性。RongH.J.等提出了P-ELM[11]，针对分类问题的ELM算法，利用统计学原理，裁剪对网络分类效果影响较弱的隐含层来实现网络结构的优[7]。(2)最优外权的求解：由于ELM的外权求解过程中要用到求解隐含层输出矩阵的Moore-Penrose[3]广义逆,而隐含层矩阵奇异和接近奇异的情况不能得到有效的避免,为提高所构建ELM算法的学习能力,避免噪音带来的广义扰动所产生的偏差,TohK.A.等均借助添加正则项的方法优化了最优外权的选取[7]。(3)最优隐含层节点个数的选取:针对ELM算法需要较多的隐含层节点个数7来弥补隐含层节点参数随机选取带来的缺陷这一问题,HuangG.B.等在2006年和2008年先后提出了I-ELM[13]和EI-ELM[14]来优化随机选取的隐含层节点参数,从而大为简化了ELM算法的复杂程度,提高了其优化效率.然而由上述算法过程可知,最终确定的外权并不能保证是相应单隐含层的最优外权.针对该问题,HuangG.B.等在2009年提出EM-ELM[15]实现了在增加隐含层元的过程中,求得相应单隐含层的最优外权,同时又避免了对上一级隐含层输出矩阵的重复计算。(4)ELM核函数:在原始的ELM算法中,HuangG.B.等在2004年提出了训练对应于常加法型隐含层节点网络[1]以及径向基型隐含层节点的单隐含层网络的ELM算法[16]。结合支持向量机的学习原理HuangG.B.等又在2010提出了ELMKernel,利用该方法[17]所构建的ELM算法较LiuQ.[17]和FrenayB[18].所提出的ExtremeSVMs有着更少的约束条件和更好的学习能力。(5)在线ELM算法:在很多情况下,数据的采集往往是一个在线过程,也就是说,所有的样本数据不能一次性的得到,而是每隔一定的时间得到一批数据.由于样本不能同时得到,这样就使得数据的训练过程变得非常复杂.针对这一情况,LiangN.Y.和HuangG.B.提出了处理在线数据的OS-ELM[19]，该方法有效地将新旧样本的训练衔接在一起,同时避免了对已有数据的多次重复训练。84.几种ELM结构选择方式的对比在学习了有关ExtremeLearningMachine(ELM)的一些基础的及其扩展的论文，对ELM有了更深入的了解。由于ELM中隐藏层和输出层的权重分别是随机和分析得到的，唯一不能确定的（需要人为指定的）是隐节点的个数，也就是网络结构的大小。本文对当前已有的有关ELM的结构选择方法进行了简单的介绍和比较[20]。在神经网络的研究