极端学习机器及其在化学光谱中的应用

湖北大学本科毕业论文（设计）题目极端学习机器及其在化学光谱数据中的应用姓名孙晶学号2011221104120011专业年级信息与计算科学2011级指导教师彭江涛职称讲师2015年4月14日I目录1绪论....................................................................11.1研究目的和意义....................................................11.2国内外研究现状....................................................11.2.1红外光谱技术研究现状.........................................11.2.2ELM研究现状.................................................21.3论文研究内容......................................................22极端学习机器和多元校正算法..............................................32.1极端学习机器算法..................................................32.2多元校正回归分析..................................................63极端学习机器在化学光谱数据中的应用......................................93.1实验数据..........................................................93.2建模过程.........................................................103.3实验结果及分析...................................................10结论.....................................................................20参考文献.................................................................21湖北大学本科毕业论文（设计）II极端学习机器及其在化学光谱数据中的应用摘要目前，化学光谱技术已被广泛应用于混合物的组成成分和含量研究。由于化学光谱数据维数较高，而实测样本数量很少，传统的化学计量学多元校正定量回归方法通常效果欠佳。不同于传统的改进方法，极端学习机器因其预测能力强、泛化性能好等优点逐渐受到人们的重视。在极端学习机器中，高维光谱向量首先被隐层输出函数映射到隐层，然后建立隐层函数与浓度之间的线性回归关系。由于隐层输出函数的参数可以随机产生，因此极端学习机器不需要进行人为的参数寻优，从而速度极快。同时，由于隐层与输出层之间是线性回归关系，求解只需要进行简单的最小二乘运算，因此非常简单。当建立了回归函数关系之后，就可以对新的测试光谱进行成分浓度的预测及检验。由分析论证以及实验得知，将极端学习机器引入化学光谱数据的多元校正分析中是正确有效的，能够极大地提高预测准确率。【关键词】极端学习机器单隐层前向神经网络红外光谱偏最小二乘线性回归湖北大学本科毕业论文（设计）IIIExtremelearningmachineanditsapplicationsonchemicalspectraldataAbstractNowadays,chemicalspectroscopyismoreandmorewidelyusedbypeopledoingresearchonconstituentsandcontentofdifferentmixtures.However,dataonchemicalspectroscopywhichwestudyonisusuallyhigh-dimentional,whichisalmosttentimeslargerthanthenumberofoursampledataleadingtoworseeffectivenessofthetraditionalChemometricsmultivariatecalibrationquantitativeregressionmethod..Differentfromtraditionalimprovement,ExtremeLearningMachineTheoryattractspeople’sattentionbasedonadvantagesofstrongpredictcapabilityandstronggeneralizationperformanceetc.InExtremeLearningMachineTheory,high-dimentionalspectralvectorismappedtohidden-layerthroughhidden-layeroutputfunctionatfirst,andthenweestablishalinearregressionrelationshipbetweenconcentrationandhidden-layerfunction.Becausetheparametersofhidden-layeroutputfunctioncangeneraterandomly,ExtremeLearningMachinedoesnotneedpersonaloptimizationleadingtoafastspeed.Meanwhile,owingtothelinearrelationshipbetweenthehiddenlayerandoutputlayer,wejustneedtousesimpleleastsquarealgorithmtosolvetheproblem.Afterestablishedaregressionfunctionrelationship,wecanpredictandexamineconcentrationofanewtestingspectrum.Basedonouranalysisandexperiment,itiscorrectandefficienttointroducetheExtremeLearningMachineTheoryintothemultivariatecalibrationofthechemicalspectraldata,whichcandramaticallyraisetheaccuracyoftheprediction.【Keywords】Extremelearningmachinesingle-hiddenlayerfeedforwardneuralnetworksInfraredspectroscopypartialleastsquareslinearregression湖北大学本科毕业论文（设计）11绪论1.1研究目的和意义红外光谱具有许多的优点[1]：（1）分析速度快：光谱的测量过程一般可在几秒至一分钟内完成，通过建立多元校正模型可迅速测定出样品的组分含量或性质；（2）分析效率高：一次红外光谱分析，就可以得到样本中的所有组成成分的含量；（3）分析成本低：无需样本制备，直接对样本进行红外光谱扫描测试，成本较低；（4）测试重现性好：光谱测量过程抵抗噪声等其他干扰因素的能力较强，测试过程一般比较稳定；（5）光谱测量方便：光谱测量一般不需要对样本进行制备或者预处理，直接测量样本的光谱吸光度即可；（6）易于实现在线分析：光谱测量数据可直接传人分析仪器进行分析，在测量的同时可以得到分析结果；（7）无损分析技术：在测试分析过程中，不需破坏样本的原来状态和化学性质。目前，红外光谱技术已经被广泛应用于农业、石油、医学、化工、环境科学、生物、纺织工业和食品工业等领域[2-6]。在实际应用中，基于朗博—比尔定律，通常假设光谱数据和样品组分含量之间呈线性关系，进而采用多元线性回归、主成分回归及偏最小二乘回归方法建立多元校正定量分析模型。由于数据采集中存在噪声等其它干扰因素，实测光谱和组分浓度之间并不是理想的线性关系，即呈现非线性函数关系。此时，传统的线性方法效果通常不佳。因此，需要研究非线性回归方法。2006年，G.B.Huang等人提出了极端学习机器（ExtremeLearningMachine,ELM）算法[7]，它是一类具有良好性能的单隐层前向神经网络（single-hiddenlayerfeedforwardneuralnetworks,SLFNs）学习算法。传统前馈神经网络多采用梯度下降算法调整学习参数，学习速度慢、推广能力差[8]。然而，ELM的训练速度非常快，且易于实现，同时它的泛化能力很强。给定网络中隐层神经元个数和激活函数类型（线性或非线性函数），ELM算法中可以随机地选取隐层网络参数，并利用最小二乘方法计算输出层权重[9]，构造不同的学习算法。目前，ELM算法已经被广泛使用于函数逼近、模式分类、系统辨识等许多领域[10-12]。特别地，在红外光谱数据的多元校正或定量分析方面，ELM算法已展现出了良好的性能[13]。考虑到ELM在处理线性和非线性回归问题中，具有良好的预测能力。本论文将ELM算法应用于化学红外光谱数据，开展光谱数据和成分含量之间的回归关系研究，具有重要的意义。1.2国内外研究现状1.2.1红外光谱技术研究现状早期的近红外光谱技术主要应用于农副产品分析中。随着计算机技术发展，数字化光谱仪器与化学计量学方法的结合形成了现代近红外光谱技术。进入90年代，近红外光谱在工业领域的应用逐步深入，由此，现代近红外光谱技术进入了快速发展时期。目前，红外光谱技术已经被广泛应用于许多领域[14-17]。在农业领域中，近红外光谱可用来检测种子或植物的质量，例如：利用近红外光谱技术，张琪琪等人测定了水分、小麦硬度和蛋白含量[18]；孟宪菁等人测定了作物和饲料中污染物的含量[19]；王东丹等人进行了可耕土壤中物理成分和化学成分的变化检测[20]。在食品加工领域中，张华秀等人将近红外光谱用于分析肉、鱼、蛋、奶及奶制品等食品中脂肪酸、氨基酸、蛋白等的含量[21]，张树明等人检测酒类发酵中酒精浓度和糖分含量[22]，用于评价食品的品质优劣。在制药领域中，蒙杰丹等人将近红外光谱用于对药品中活性成分和有毒成分进行监测和控制[23]。在石油炼制领域，近红外光谱在油品分析中创造了巨大的价值；除此之外，Ralston还将近红外光谱用于原油收率的评价。随着科学技术的进步以及化学计量学科的研究深入，现代分析化学的基础理论逐渐被丰富，利用现代分析仪器所产生的巨大测量信息，为复杂化学体系的准确、实时在线分析以及传统分析化学湖北大学本科毕业论文（设计）2难于处理的复杂多组分体系解析提供了便利的研究手段[24]。随着可产生高阶数据的高阶分析仪器的不断发展，高维数据分析已成为化学计量学领域的一大热点[24]。目前，高维红外光谱数据定量分析中，常用的方法是多元线性回归、主成分回归及偏最小二乘回归方法。1.2.2极端学习机器研究现状2006年，G.B.Huang等人提出了极端学习机器（ExtremeLearningMachine,ELM）算法[7]，该算法展现出了比BP神经网络和支持向量机（SupportVectorMachine,SVM）更加优越的性能。随后，G.B.Huang等人对ELM算法进行了大量的理论和实验研究。ELM算法优越的性能使得其被应用到很多领域。2012年，R.Minhas等人将ELM应用于人类行为识别（HumanActionRecognition）[25]，作者提出了一种增