支持向量机SVM_简介PPT

SupportVectorMachinesfxy+1-1f(x,w,b)=sign(w.x-b)Howwouldyouclassifythisdata?线性分类器fxy+1-1f(x,w,b)=sign(w.x-b)Howwouldyouclassifythisdata?线性分类器线性分类器fxy+1-1f(x,w,b)=sign(w.x-b)Howwouldyouclassifythisdata?线性分类器fxy+1-1f(x,w,b)=sign(w.x-b)Howwouldyouclassifythisdata?线性分类器fxy+1-1f(x,w,b)=sign(w.x-b)Anyofthesewouldbefine....butwhichisbest?线性分类器fxy+1-1f(x,w,b)=sign(w.x-b)线性分类器的间隔（margin）：到超平面最近的样本与此超平面之间的距离。最大间隔fxy+1-1f(x,w,b)=sign(w.x-b)具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)线性支持向量机fxy+1-1f(x,w,b)=sign(w.x-b)支持向量(SupportVectors):是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)线性支持向量机最大间隔Why…最大间隔?+1-1f(x,w,b)=sign(w.x-b)支持向量(SupportVectors):是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)线性支持向量机1.直观上感觉很好.2.学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系：)arg1()()(inmRRemp具体化分类超平面及其间隔•如何在数学上表示?•…在m位空间中?Plus-PlaneMinus-PlaneClassifierBoundary•Plus-plane={x:w.x+b=+1}•Minus-plane={x:w.x+b=-1}Classifyas..+1ifw.x+b=1-1ifw.x+b=-1不可分情况if-1w.x+b1具体化分类超平面及其间隔Plus-PlaneMinus-PlaneClassifierBoundary计算间隔M=Margin我们怎样利用w与b计算margin?•Plus-plane={x:w.x+b=+1}•Minus-plane={x:w.x+b=-1}注:向量w与PlusPlane垂直.为什么?设u和v是PlusPlane上的两个向量.则w.(u–v)是多少?所以w也垂直于MinusPlane注:向量w与PlusPlane垂直.为什么?M=Margin我们怎样利用w与b计算margin?•Plus-plane={x:w.x+b=+1}•Minus-plane={x:w.x+b=-1}计算间隔•Plus-plane={x:w.x+b=+1}•Minus-plane={x:w.x+b=-1}•向量w与PlusPlane垂直•设x-是minusplane上任意一点•设x+是plus-plane上距离x-最近的点x-x+计算间隔M=Margin我们怎样利用w与b计算margin?•Plus-plane={x:w.x+b=+1}•Minus-plane={x:w.x+b=-1}•向量w与PlusPlane垂直•设x-是minusplane上任意一点•设x+是plus-plane上距离x-最近的点•注:对于某实数l，x+=x-+lw.为什么?x-x+计算间隔M=Margin我们怎样利用w与b计算margin?•Plus-plane={x:w.x+b=+1}•Minus-plane={x:w.x+b=-1}•向量w与PlusPlane垂直•设x-是minusplane上任意一点•设x+是plus-plane上距离x-最近的点•注:对于某实数l，x+=x-+lw.为什么?x-x+计算间隔M=Margin我们怎样利用w与b计算margin?x-与x+的连线与planes垂直.于是x-在w的方向上移动一段距离就可与到达x+.现在我们知道:•w.x++b=+1•w.x-+b=-1•x+=x-+lw•|x+-x-|=M于是很容易由w和b得到MM=MarginWidthx-x+计算间隔现在我们知道:•w.x++b=+1•w.x-+b=-1•x+=x-+lw•|x+-x-|=M于是很容易由w和b得到MM=MarginWidthw.(x-+lw)+b=1=w.x-+b+lw.w=1=-1+lw.w=1=x-x+w.w2λ计算间隔现在我们知道:•w.x++b=+1•w.x-+b=-1•x+=x-+lw•|x+-x-|=M•M=MarginWidth=M=|x+-x-|=|lw|=x-x+w.w2λ||λλww.2计算间隔学习最大间隔分类器我们现在需要找到一种算法，来求出w与b，并且能匹配上所有的样本点.怎么做?梯度下降?退火算法?矩阵求逆?牛顿法?M=MarginWidth=x-x+ww.2利用二次优化求解Minimizesubjecttoww.21yk(w.xk+b)=1k=1,2,…,nWhatYouShouldKnow•线性SVMs•最大间隔分类器•QP的作用(但是,这里,你不必知道如何求解它)•最大间隔问题可以转化为一个二次优化(QP)问题