SVM分类与回归简介

2013年7月支持向量回归机松弛变量、核函数与特征映射支持向量机-线性分类器机器学习问题简介31234总结5什么是机器学习？机器学习(MachineLearning)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。Alpaydin（2004）同时提出自己对机器学习的定义，“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。一个有趣的例子机器学习就是从给定的函数集f(x,)(是参数)中,选择出能够最好地逼近训练器响应的函数。机器学习的目的可以形式化地表示为：根据n个独立同分布的观测样本，在一组函数中求出一个最优函数对训练器的响应进行估计,使期望风险最小其中是未知的,对于不同类型的机器学习问题有不同形式的损失函数。1122(,),(,),,(,)nnxyxyxy{(,)}fx0{(,)}fx()(,(,))(,)RLyfxdPxy(,)Pxy模式识别令训练器的输出y只有两种取值，并令为指示函数集合（指示函数只有0和1两种取值），考虑下面的损失函数：我们把指示函数给出的答案与训练器输出不同的情况叫做分类错误，这样学习问题就变成了寻找使损失函数最小的问题。}1,0{y(,),fxaa0(,)(,(,))1(,)yfxaLyfxayfxa若若回归估计令训练器的输出y为实数值，并令为实数集，回归函数就是在损失函数最小化的函数估计密度估计密度估计就是从密度函数集中估计密度函数的问题(,),fxaa2(,(,))((,))Lyfxayfxa支持向量机（SupportVectorMachine,SVM）1963年，Vapnik在解决模式识别问题时提出了支持向量方法,这种方法从训练集中选择一组特征子集,使得对特征子集的划分等价于对整个数据集的划分,这组特征子集就被称为支持向量(SV)。1971年，Kimeldorf提出使用线性不等约束重新构造SV的核空间,解决了一部分线性不可分问题。1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。1995年，Vapnik正式提出统计学习理论。SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。+1-1如何进行数据分类(x,)()f,sign.bwbwx+1-1(x,)()f,sign.bwbwx如何进行数据分类+1-1(x,)()f,sign.bwbwx如何进行数据分类+1-1(x,)()f,sign.bwbwx如何进行数据分类+1-1如何选择最优分类面？+1-1线性分类器的间隔（margin）：到超平面最近的样本与此超平面之间的距离。(x,)()f,sign.bwbwx+1-1具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)(x,)()f,sign.bwbwx+1-1支持向量(SupportVectors):是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)+1-1f(x,w,b)=sign(w.x-b)支持向量(SupportVectors):是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)1.直观上感觉很好.2.学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系：)arg1()()(inmRRemp(())1,1,...,iiywxbil假定训练数据可以被一个超平面分开我们进行正归化此时分类间隔等于使最大间隔最大等价于使最小RbRwbxwN,,0).(11(,),...,(,),,{1,1}nllxyxyxRy2w2w最优分类面问题可以表示成约束优化问题◦Minimize◦Subjectto定义Lagrange函数211()()22(())1,1,...,iiliiiibwxywbwL1221)1))(((),,(liiiibwxywbwL1221)1))(((),,(Lagrange函数令其偏导数为0得到(,,)0,(,,)0LwbLwbbwiiliiiliixywya110因此该问题的求解可转化为一个标准的二次优化问题，通过对该问题的求解即可完成支持向量的求解12,11111**:1:1min:()().0,1,...,,0()sgn(())maxmin2iillijijijiijiliiiiliiiiliiiiTTiyiiyiJyyxxstilandyfxyxxbwyxwxwxb目标函数：决策函数：以上所得到的最优分类函数为：该式只包含待分类样本与训练样本中的支持向量的内积运算，要解决一个特征空间中的最优线性分类问题,我们只需要知道这个空间中的内积运算即可。若存在离群点，则问题变成了线性不可分？**1()sgn{}sgn{()}liiiifxwxbyxxb线性不可分的情况下，可以条件中增加一个松弛项成为已知：求解：目标：最优分类面{,},1,...,{1,1},diiiixyilyxR0wxb0),...,2,1(1)()||||21min(12iiiiniinibxwyCw1,0lii{}()1iiiywxb＋折衷考虑最少错分样本和最大分类间隔，就得到广义最优分类面，其中，C0是一个常数，它控制对错分样本惩罚的程度。()1iiywxb＋1）并非所有的样本点都有一个松弛变量与其对应。实际上只有“离群点”才有，或者也可以这么看，所有没离群的点松弛变量都等于0。2）松弛变量的值实际上标示出了对应的点到底离群有多远，值越大，点就越远。3）惩罚因子C决定了对离群点带来的损失的重视程度，显然当所有离群点的松弛变量的和一定时，C越大，对目标函数的损失也越大，此时就暗示着你非常不愿意放弃这些离群点，最极端的情况是你把C定为无限大，这样只要稍有一个点离群，目标函数的值马上变成无限大，马上让问题变成无解，这就退化成了硬间隔问题。4）惩罚因子C不是一个变量以上介绍了线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。如下图所示的两类数据，分别分布为两个圆圈的形状，这样的数据本身就是线性不可分的。一个理想的分界应该是一个“圆圈”而不是一条线（超平面）。如果用X1和X2来表示这个二维平面的两个坐标的话，我们知道一条二次曲线（圆圈是二次曲线的一种特殊情况）的方程可以写作这样的形式：如果构造一个五维空间，则上式可表示为线性方程221121324251260aXaXaXaXaXXa2211213242512561,,,,0iiiZXZXZXZXZXXaZa为解决上述问题，引入核函数（KernelFunction）的概念11221,21,21212,,,(,)()().(,...)()((),...,())={()|}:()()(,,)lnKxzXKxzxzXFxxxxxxXFxxXxxxxxxxx核是一个函数对所有满足这里是从输入空间到到特征空间的映射将输入空间映射到一个新的空间例如对应线性可分的情况，可以将分类函数写成如下内积的形式通过核函数进行特征映射则问题同样转化为对如下对偶问题的求解1(),liiiifxyxxb1()(),()liiiifxyxxb121,11max:()(),()).0,1,...,,0lliijijijiijliiiiWyyxxstilandy目标函数：计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数(KernelFunction)核函数能简化映射空间中的内积运算——SVM里需要计算的地方数据向量总是以内积的形式出现的。因此分类函数可以表示为：,1()()liiiifxyKxxb其中α可由如下对偶问题求解这样计算的问题就算解决了，避开了直接在高维空间中进行计算。常用核函数121,11max:()(,)..0,1,...,,0lliijijijiijliiiiWyyKxxstilandy212122(,)exp()2xxKxxSVM本身是针对经典的二分类问题提出的，支持向量回归机（SupportVectorRegression，SVR）是支持向量在函数回归领域的应用。SVR与SVM分类有以下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。对于线性情况，支持向量机函数拟合首先考虑用线性回归函数拟合标准支持向量机采用ε-不灵敏度函数，即假设所有训练数据在精度ε下用线性函数拟合图。()(,),1,2,...,,,niiiifxxbxyinxRyR约束条件该问题的求解为二次优化问题，通过拉格朗日乘子转化为其对偶形式计算b的值及决策函数***1,1**11*1*1(,)()()()2()()()0..0,niijjijijnniiiiiiiniiiiiWxxystC**0*0*11{[()(,)][()(,)]}()()ijjiijjjiCxSVNSVijjjixSVCniiiibyxxNyxxfxxbxxb决策函数：非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。首先将输入量通过映射映射到高维特征空间H中，则则优化目标函数变为：nRH：()()fxxb***1,1**11*1*1(,)()()(()())2()()()0..0,niijjijijnniiiiiiiniiiiiWxxystC在高维空间中计算内积十分复杂，鉴于核函数优秀的内积计算性质则优化目标函数可表示为(,)()()Kxzxz***1,1**11*1*1(,)()()(,)2()()()0..0,niijjijijnniiiiiiiniiiiiWKxxystC得到回归函数即为标准ε-不敏感损失函数下的回归函数形式。可以表示为*1()()()(,)liiiifxxbKxxbSVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题的表示、问题的解决、证明）SVM——严格的数学推理NN——强烈依赖于工程技巧推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。NN设计者用高超