LSSVM概述

支持向量机（SVM)与最小二乘支持向量机（LSSVM)1SVM概述2LSSVM概述3SVM与示意图4SVM相关名词解释5LSSVM估计算法1SVM概述支持向量机(SupportVectorMachine)是Cortes和Vapnik亍1995首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别仸意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（戒称泛化能力）。并用交叉验证的方法进行支持向量机参数选择。2LSSVM概述SuykensJ.A.K提出一种新型支持向量机方法—最小二乘支持向量机（LeastSquaresSupportVectorMachines，简称LS-SVM）用于解决模式分类和函数估计问题等。最小二乘支持向量机方法是采用最小二乘线性系统作为损失函数，代替传统的支持向量机采用的二次规划方法。LS-SVM方法简化了计算的复杂性。另外，由于LS-SVM采用了最小二乘法，因此运算速度明显快于支持向量机的其它版本。3SVM和示意图最优分类函数为：这就是支持向量机。概括地说，支持向量机就是通过用内积函数定义的非线性变换将输入空间变换到一个高维空间，在这个空间中求最优分类面。SVM分类函数形式上类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应一个输入样本于一个支持向量机的内积，因此也就叫做支持向量网络。**1()sgn{(,)}liiiifxyKxxb4相关名词解释VC维理论：为了研究经验风险最小化函数集的学习一致收敛速度和推广性，SLT定义了一些指标来衡量函数集的性能，其中最重要的就是VC维(Vapnik-ChervonenkisDimension)。对于一个指示函数（即只有0和1两种取值的函数）集，如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开，则称函数集能够把h个样本打散，函数集的VC维就是能够打散的最大样本数目。所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，呾样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM径适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。核函数:根据泛函的有关理论，只要一种核函数K（xi,xj）满足Mercer条件，它对应某一变换空间中的内积。因此，在最优分类面中采用适当的内积函数K（xi,xj）就可以实现某一非线性变换后的线性分类，而计算复杂度却没有增加。其中，K是核函数，其种类主要有：11221,21,21212,,,(,)()().(,...)()((),...,())={()|}:()()(,,)lnKxzXKxzxzXFxxxxxxXFxxXxxxxxxxx核是一个函数对所有满足这里是从输入空间到到特征空间的映射将输入空间映射到一个新的空间例如线性核函数：多项式核函数：径向基（RBF)核函数：两层感知器核函数：例子：意大利葡萄酒种类识别).tanh(),(;0),exp(),(;0,)(),(;),(2rxxxxKxxxxKrxxxxKxxxxKiTiiipiTiiTiSVM方法的特点①非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射;②对特征空间划分的最优超平面是SVM的目标,最大化分类边界的思想是SVM方法的核心;③支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。SVM是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”(transductiveinference),大大简化了通常的分类和回归等问题。5最小二乘支持向量机（LSSVM)估计算法支持向量机主要是基于如下思想：通过事先选择的非线性映射将输入向量映射到高维特征空间，在这个空间中构造最优决策函数。在构造最优决策函数时，利用了结构风险最小化原则。并巧妙的利用原空间的核函数取代了高维特征空间中的点积运算。)()())(),...,(),(()x(x)(),(),......,,(l2111.YY利用结构间中的线性估计函数。函数转化为高维特征空。这样非线性估计中构造最优决策函数。在这个高维特征空间空间映射到特征把样本从原空间首先用一非线性映射个样本及其值表示为维向量，某区域的设样本为bxwxyxxxRRRyxyxnlnnlljjjj化目标的损小二乘支持向量机在优形式的支持向量机。最同的损失函数，可构造不损失函数。选取了不同数，损失函损失函数，二次有线性函数。常用的损失函数不敏感损失为误差控制函数，也即为正规化参数。控制模型的复杂度，，其中就是最小化风险最小化原则，寻找huberRcwRcwRbwempemp2221,)3(,0,0,0,0,,1)2(,)((21),,,,(.,,1,)(:)1(,21),(min11212aLLbLwLliaybxwacwwabwLlibwxytscjj根据优化条件：，是拉格朗日乘子，其中优化问题用拉格朗日法求解这个为：的二次项。故优化问题失函数为误差.),()0/1),(),(1),(/1),(11104),(),()(),()4.(0)(,,0),(11111bxxKaxfyyaabcxxKxxKxxKcxxKMercerxxKxxxxKybxwcaaxawjiliilljijijijijijijiiiiiiliiilii（最后得到非线性方程：为求解线性方程：），优化问题转化（条件的对称函数。根据是满足定义核函数可得jjjj