搜索
基于SVM算法的分类器设计摇光（————————————）摘要：本篇论文介绍了SVM分类器的设计原理，基本思想，对于线性可分和线性不可分有具体的实验步骤和设计的原理基础，以及该分类器在现实中应用。对SVM算法的线性和非线性分类进行实验研究，其具体算法代码用Matlab代码来实现。实验结果表明，SVM将平面内具有线性可分的点，在平面内找到一个可以划分的分界线，对平面内的点进行划分，这些点分别位于分隔线的两侧。若平面内的点是线性不可分，则SVM会将平面内的点映射到到更高维度，在高维空间中找到划分所需要的分界线，然后再应用线性可分的情况的方法进行分类。关键词：向量机；线性可分；线性不可分；最大间隔引言在现实中，我们会遇到一些分类的问题，比如，将平面上的点分为两类。如果，这个问题，对于在线性可分的情况下，我们可以直接用SVM算法对平面上的点进行划分，然而，并非所有的点都是线性可分的，那么，当我们遇到这样的问题时，我们又该怎么办呢？这就需要对特征空间进行降维，通过某种映射，我们可以将平台上的点映射到其他的空间，例如，球面或者其他立体区域。这样，我们可以很容易的在其他另外一个空间找到我们所需要得到“分界线”来将这些待分类的点进行划分。这基本上就是SVM分类器的设计原理和基本思想。若待分类的点是线性不可分，SVM通常将将待分类的点映射到某些高维空间，在高维空间找到能将这些点划分的“超平面”，然后对待分类的点进行划分。1实验方案1.1实验目的以Matlab为实验的开发平台，使用Libsvm工具箱设计出一个SVM分类器，并用公共数据库中现存的数据集为训练样例和测试样例，采用最优的方法的参数训练出分类器，并且用设计出的SVM分类器进行测试。1.2分类标准的起源：logistic回归在对待分类点进行划分时，我们会得到一个二维平面，平面内有不同的点，如图1.1.1所示，这些点有红色的，也有绿色的，还有一条蓝色的线。这条线可以看成是一个“分界线”也就是所谓的“超平面”。如何用这条蓝色的线将红色的点和绿色的点进行划分出来？平面内待分类的点用x表示，所要划分的类别用y表示，（这里y可以取1或者-1，分别代表两个不同的类别），本次SVM分类器设计的实目标是在平面内找到一个“分界线”也就是所谓的“超平面”，将平面内的点x进行分类。而这个超平面的方程可以表示为（wT中的T代表转置）：wTx+b=0(这个1或-1的分类标准源于logistic回归)。Logistic回归得目的是从特征学习出一个0/1的分类模型，而这个模型则是将特性的线性组合作为自变量，因自变量的取值范围是从负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。假设函数：其中x是n维特征向量，函数g就是logistic6函数。而的图像是图1.1g(z)函数图像可以看到，将无穷映射到了（0,1）。而假设函数就是特征属于y=1的概率。从而，当判别一个新来的特征属于哪个类时，只需要求，若0.5则属于y=1的类，反之属于y=0类。另外，只与有关，若，0，则，而g(z)只是用来映射，真实的类别决定权还是。再，当时，=1，反之=0。如果我们只从出发，希望模型达到的目标就是让训练数据中y=1的特征，而是y=0的特征。Logistic回归就是要学习得到，使的正例的特征远远大于0，负例的特征远远小于0，并且要在全部训练实例上都达到这个目标。之后，尝试将logistic回归进行变形。首先，将使用过的结果标签y=0和y=1替换为y=-1,y=1，然后，将（）中的替换为b，最后将替换为（即）。这样，则有了。就是说除了y由y=0变为y=-1外，线性分类函数跟logistic回归的形式化表示没有什么区别。进一步，还可以将假设函数中的g(z)做一个简化，将其映射到y=-1和y=1上。得到的映射关系如下：1.3实验步骤1.3.1线性可分对于一个给定的平面，（一个超平面，在二维空间就是一条直线），平面内有不同的点，如图1.1.1所示，这些点有红色的，也有绿色的，还有一条蓝色的线。这条线可以看成是一个“分界线”也就是所谓的“超平面”。如何用这条蓝色的线将红色的点和绿色的点进行划分出来？从图1.2.1可以看出，这条蓝颜色的线把红颜色的点和蓝颜色的点分开了。而这条蓝颜色的线就是我们所说的超平面。在这条蓝线两侧的数据点x所对应的y值一侧全为-1，另一侧全为1。我们可以用分类函数f(x)=wTx+b显然，若f(x)=0，那5x是位于超平面上的点，设对于所有满足f(x)0的点，其对应的y等于-1，而f(x)0则对应y=1的数据点。图1.3.1线性可分其中w是法向量，它决定了超平面的方向；b是位移项，它决定了超平面到原点之间的距离。距离超平面最近的这几个训练样本点使的等号成立，它们被称为“支持向量”，其中，两个异类支持向量到超平面之间的距离之和称为间隔，确定两个边界端或极端划分直线中间的最大间隔（目的是能更好的划分不同类别的点）来确定w和b的取值。1.3.2线性不可分对于线性可分的情况，在上面提到，可通过一个线性函数f(x)=w·x+b来构造一个分类器，确定一个有着最大边缘距离的分类线（面）来实现对数据的分类。但是，如果数据是线性不可分的情况，即用一个二维直线，三维平面或多维超平面不能完成二分类，又该怎么办呢？对于线性不可分问题，SVM用到的方法是将这些线性不可分的原数据向高维空间进行转化，使其变得线性可分。如下图所示，对于一些待分类的数据，如果他们是线性不可分的，可以通过将他们向高维进行转化，就像图1.2.2所示，将二维数据转化到三维，就可通过一个分类面将这些数据分为两类。可以说，SVM通过将线性不可分的数据映射到高维，使其能够线性可分，再应用线性可分情况的方法来完成。图1.3.2线性不可分在这个由低维到高维转化过程中，实际上SVM并没有真正的进行高维映射，而是通过一种技巧来找出这个最大边缘的分类面，即将一个叫做核函数的函数，应用于原输入数据上。这个技巧允许我们不需要知道映射函数是什么，只将选定的核函数应用到原输入数据上就行；其次，所有的计算都在原来的低维输入数据空间进行，避免了高维运算。对于这个核函数，可选项有很多种，比如多项式核函数，S型核函数高斯径向基函数核函数，等等。2分析与讨论2.1实验结果图2.1.1线性可分结果图2.1.2线性不可分结果图2.1.3线性可分结果图2.1.4线性可分结果图2.1.5线性不可分结果图2.1.6线性不可分结果2.2实验分析由实验结果图可知，中间的那条分界线可以并不是唯一的，如果我们将它稍微旋转一下，只要没有分错两类数据，依旧可达到所要的分类效果，稍微平移一下，也是可以。因此必须要提前到找一个指标作为量化分类效果“好”的程度，通常使用的是称为“分类间隔”的指标。因此我们理解为什么要选择几何间隔作为评价一个解优劣的指标了，因为几何间隔越大的解，它的误差上界越小。因此最大化几何间隔成为我们训练阶段的目标。3结论在本次SVM分类器的设计试验中，主要针对二维平面内数据点的线性可分和线性不可分来进行研究实验的。对于线性可分，则在该平面内直接利用最大间隔进行“分隔线”的寻找，所确定出来的“分界线”即为我们SVM分类器所求的“超平面”这个超平面将待分类的数据点进行分类。如果所给平面内的点不是线性可分的，而是线性不可分，则需要我们将平面内的点进行映射，等映射到高维中，在高维的空间类找到一个可以划分的“超平面”然后在应用线性可分情况的方法完成分类。基于统计学坚实的理论依据，SVM有很多优点，首先，它不仅解决了传统方法的过程学习和陷入局部最小的问题，拥有很强的泛化能力；其次，采用核函数的方法，向高维空间映射时不会增加计算的复杂性，又可以地解决了维数灾难问题。同时也有一定的局限性：SVM的性能在很大的程度上都依赖核函数的选择，然而如今并没有很好的方法来指导针对于特定问题的核函数的选择。然而就现在的应用研究状况而言，尽管支持向量机的应用研究已经很广泛，但是其应用依旧不及人工神经网络的方法，所以我们有理由相信SVM的应用研究还可以有很大的挖掘潜力。参考文献[1]危傲.基于SVM算法的分类器设计[J].电子科技,2015,04:23-26.[2]谭芳.基于特征信息提取的目标识别算法研究[D].电子科技大学,2010.[3]吴迪.基于SVM分类器的分步定位算法研究[D].哈尔滨工业大学,2010.[4]刘莹.基于SVM维吾尔文印刷体识别分类器设计[D].新疆大学,2011.[5]张岩.基于SVM算法的文本分类器的实现[D].电子科技大学,2011.[6]姜红茹.基于深度SVM和深度小波神经网络的极化SAR影像地物分类[D].西安电子科技大学,2014.[7]梁燕.SVM分类器的扩展及其应用研究[D].湖南大学,2008.[8]李想.Boosting分类算法的应用与研究[D].兰州交通大学,2012.[9]谭琨.基于支持向量机的高光谱遥感影像分类研究[D].中国矿业大学,2010.[10]吴新榕.基于SVM的联机手写分类器设计[D].浙江大学,2012.[11]陈文婷.SAR图像舰船目标特征提取与分类识别方法研究[D].国防科学技术大学,2012.