极限学习机简介

1极限学习机传统前馈神经网络采用梯度下降的迭代算法去调整权重参数，具有明显的缺陷：1）学习速度缓慢，从而计算时间代价增大；2）学习率难以确定且易陷入局部最小值；3）易出现过度训练，引起泛化性能下降。这些缺陷成为制约使用迭代算法的前馈神经网络的广泛应用的瓶颈。针对这些问题，huang等依据摩尔-彭罗斯（MP）广义逆矩阵理论提出了极限学习(ELM)算法，该算法仅通过一步计算即可解析求出学习网络的输出权值，同迭代算法相比，极限学习机极大地提高了网络的泛化能力和学习速度。极限学习机的网络训练模型采用前向单隐层结构。设,,mMn分别为网络输入层、隐含层和输出层的节点数，gx是隐层神经元的激活函数，ib为阈值。设有N个不同样本,iixt，1iN，其中1212,,...,,,,...,TTmniiiimiiiinxxxxRttttR，则极限学习机的网络训练模型如图1所示。图1极限学习机的网络训练模型极限学习机的网络模型可用数学表达式表示如下：1,1,2,...,MiiiijigxbojN式中，12,,...,iiimi表示连接网络输入层节点与第i个隐层节点的输入权值向量；12,,...,Tiiiin表示连接第i个隐层节点与网络输出层节点的输出权值向量；12,,...,Tiiiinoooo表示网络输出值。极限学习机的代价函数E可表示为1,NjjjESot式中，,,1,2,...,iisbiM，包含了网络输入权值及隐层节点阈值。Huang等指出极限学习机的悬链目标就是寻求最优的S，β，使得网络输出值与对应实际值误差最小，即min,ES。min,ES可进一步写为111,,min,min,...,,,...,,,...,iiMMNbESHbbxxT式中，H表示网络关于样本的隐层输出矩阵，β表示输出权值矩阵，T表示样本集的目标值矩阵，H，β，T分别定义如下：111111111,...,,,...,,,...,MMMMNNmNMNMgxbgxbHbbxxgxbgxb11,TTTTMNMNNNtTt极限学习机的网络训练过程可归结为一个非线性优化问题。当网络隐层节点的激活函数无限可微时，网络的输入权值和隐层节点阈值可随机赋值，此时矩阵H为一常数矩阵，极限学习机的学习过程可等价为求取线性系统HT最小范数的最小二乘解ˆ，其计算式为ˆHT式中H时矩阵H的MP广义逆。2实验结果ELM('diabetes_train','diabetes_test',1,20,'sig')TrainingTime=0.0468TestingTime=0TrainingAccuracy=0.7934TestingAccuracy=0.7396由实验结果可得，极限学习机方法具有耗时短，效率高等优点，但是训练和测试的精度还有待提高。