ELM算法原理

一、极限学习机的概念极限学习机(ExtremeLearningMachine)ELM，是由黄广斌提出来的求解单隐层神经网络的算法。ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。二、极限学习机的原理ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM可以随机初始化输入权重和偏置并得到相应的输出权重。对于一个单隐层神经网络(见Figure1),假设有个任意的样本i,Xti，其中nTiniiRXx,...,x,x21i，m21it,...,t,ttRTinii。对于一个有个隐层节点的单隐层神经网络可以表示为NjXWL,...,1,bgjiji1ii其中，xg为激活函数，Tniii为输入权重，i为输出权重，ib是第i个隐层单元的偏置。jiXW表示iW和jX的内积。单隐层神经网络学习的目标是使得输出的误差最小，可以表示为01jNjjt即存在i，iW和ib，使得NjXWL,...,1,bgjiji1ii可以矩阵表示为TH其中，H是隐层节点的输出，为输出权重，T为期望输出。LNLNLNLLLLbXWgbXWgbXWgbXWgXXbbWWH11111111L1,...,,,...,,...,mN1mL1NTTLTTTTT，为了能够训练单隐层神经网络，我们希望得到i，iW和ib，使得TbWHTWHiiibW,minb,,iii，其中，Li,,1，这等价于最小化损失函数NjLXWE1j2iji1iitbg传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中,一旦输入权重iW和隐层的偏置ib被随机确定，隐层的输出矩阵H就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统TH。并且输出权重可以被确定TH1-其中，-1H是矩阵H的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。fori=1:size(T,2)[x,label_index_expected]=max(T(:,i));[x,label_index_actual]=max(Y(:,i));iflabel_index_actual~=label_index_expectedMissClassificationRate_Training=MissClassificationRate_Training+1;endending_data)size(Traingte_TraininficationRaMissClassi1curacyTrainingAcng_data)size(Testite_TestingficationRaMissClassi1uracyTestingAcc