改进隶属度FSVM方法在多类别分类中的应用

2008年1月农机化研究第1期-16-改进隶属度FSVM方法在多类别分类中的应用任东1，2，于海业1，王纪华2，乔晓军2（1.吉林大学生物与农业工程学院，长春130028；2.国家农业信息化工程技术研究中心，北京100097）摘要：着重研究了模糊决策函数的隶属度计算方法，提出了一种新的隶属度计算方法—基于样本均匀度的隶属度方法。同时，将提出的方法应用于温室作物病害诊断系统中，得到了较好的实验结果，也验证了改进模糊支持向量机优于一般“一对一”和“一对多”的多类别分类方法。研究证明，采用样本均匀度隶属度FSVM方法分类性能最好。关键词：计算机应用；模糊支持向量机；理论研究；多类别分类；温室植物病害中图分类号：TP391.41文献标识码：A文章编号：1003─188X(2008)01─0016─030引言模糊支持向量机(FSVM)是一种相对新的方法。该方法用来处理使用“一对一”方法和“一对多”分类方法当中所出现的不可分区域[1]。该方法在“一对一”和“一对多”方法当中引入了一个模糊决策成员函数。对不同的样本采用不同的惩罚权系数，在构造目标函数时不同的样本有不同的贡献，在一定的程度上避免了噪声的影响。本文首先对几种常用的隶属度进行了分析，然后提出了一种新的隶属度计算方法─基于样本均匀度的隶属度函数；并以北京地区温室内的黄瓜的3种病害图像为研究对象，应用文中提出的方法对图像进行识别分类。1隶属度函数的确定隶属度函数是表示一个对象x属于集合A的程度的函数，记作)(xA。通常情况下，确定隶属度大小的基本原则是以样本所在类中的相对重要性，或对所在类贡献的大小为依据[2]。1.1常见的基于距离的隶属度函数样本到类中心之间的距离是衡量样本对所在类贡献大小的依据之一。目前，在模糊支持向量机中，基于距离的隶属度函数的确定是将样本的隶属度看作是特征空间中样本与其所在类中心之间距离的函数[3]。2008年1月农机化研究第1期-17-隶属度函数中常用的形式是S型函数和π型函数。1.1.1S型函数的隶属度函数基于S型函数的隶属度函数是一种从0到1的单调增长的函数，通常可由cba,,3个参数确定Zadeh定义的标准S型函数的隶属度[4]，即cxcxbbxaaxaccxacaxcbaxiiiiiii1)]/()[(21)]/()[(2,0),,;(22S(1)其中，2cab，且在bxi时隶属度函数等于0.5。1.1.2π型函数的隶属度函数π型函数是指“中间高两边低”的函数，可以用S型函数定义，标准π型函数的定义是cxcbaxcxcbaxabaxiiiii),,;(1),,;()',,;(SSπ(2)1.2基于样本均匀度的隶属度函数本文对S型隶属度函数进行改造。在S型隶属度函数的基础上，引入样本均匀度的概念，提出了一种新的基于样本均匀度的隶属度函数。在确定样本的隶属度时，既要考虑样本到所在类中心之间的距离，还要考虑类中各个样本之间分布的均匀度，计算公式为)(),,:()(SiEiixcbaxx(3)式中)(ix—样本ix属于所在类的隶属度；)(Six—标准基于S型函数的隶属度函数；)(iEx—基于样本均匀度的隶属度函数，其作用是作为一个参数来修正利用S型函数作为样本隶属度函数时可能带来的误差。其表达式为niiiEcbaxnx1S),,:(1)((4))1,0()(iEx2试验与结果分析2.1试验设计将提出的基于样本均匀度隶属度函数的改进模糊支持向量机用于温室黄瓜病害诊断中。FSVM采用与“一对一”方法完全相同的训练方式。如果训练集当中有k类，则在FSVM当中共需要训练2)1(kk个支持向量机。FSVM的决策函数构建在此2)1(kk个决策函数的基础之上。单个SVM的决策函数为[5]bxxKyaxfniiii1),()((5)在采用模糊支持向量机进行分类时，除了样本的特征与类别标识外，每个样本还增加了隶属度一项。每个样本的特征表示为ix，类别标识为iy∈{-1，1}，隶属度为0)(ix≤1。i是支持向量机目标函数中的分类误差项，则)(ixi为带权的误收稿日期：2007-04-08基金项目：农业科技成果转化资金项目（05EFN211100002）；北京市科技计划项目（Z0005190040831）作者简介：任东(1976-)，男，辽宁大石桥人，博士研究生，(E-mail)[e-mail]。通讯作者：于海业(1963-)，男，吉林梅河口人，教授，博士生导师。2008年1月农机化研究第1期-18-差项[6]。将式（3）中的)(ix带入，最优分类面为下面目标函数的最优解为niiiEiSxcbaxCww12)(),,:(21),((6)约束条件为ninibZyiiiTi,,1,0,,101])[((7)当)(ix很小时，减小了i在目标函数中的影响，以致于将相应的ix看作不重要的样本。如果取所有的隶属度)(ix=1，则与一般支持向量机方法一样。在模糊支持向量机方法中，通过对不同样本赋予不同的隶属度)(ix，达到对不同的样本采用不同程度的惩罚作用[7]。采用上面的FSVM方法，从黄瓜的白粉病、霜霉病和枯萎病的每种病害图像中选取40×40像素的样本100个作为训练样本测试样本数目每组100个，共300个测试样本。分类器由3个支持向量机(SVM1，SWM2，SVM3)组成，SVM1用来判断霜霉病；SWM2用来判断白粉病；SVM3用来判断枯萎病。首先利用所取出的样本训练支持向量机，训练SVM1用来判断样本属于霜霉病时，将200个训练样本中属于霜霉病看作一类，表示为+1，将其余的样本标示为-1，依据的基本原理求优化系数ia后建立对应正常的SVM1。应用同样的方法来训练SWM2和SVM3，其中SWM2用来判别样本是否属于白粉病，SVM3用来判别样本是否属于枯萎病，不属于上述情况是分类有误。2.2结果分析SVM1，SWM2，SVM3分类的MATLAB图像如图1～图3所示。图1FSVM1的分类图2FSVM2的分类图3FSVM3的分类4.54.03.53.02.52.04.04.55.05.56.06.57.07.58.0setosaversicolorvirginicaxysetosaversicolorvirginica76543214.04.55.05.56.06.57.07.58.0xy76543212.02.53.03.54.04.5setosaversicolorvirginicaxy2008年1月农机化研究第1期-19-从图1～图3中可以看出，每种方法都可以将3种病害中的一种与其它两种分开，模糊支持向量机的方法很好地解决了一般多分类方法无法解决的不可分区域问题。分别采用“一对一”SVM方法、“一对多”SVM方法、S型隶属度FSVM方法、π型隶属度FSVM方法和样本均匀度隶属度函数SVM方法进行测试，确定哪种SVM方法最适合于病害图像的识别。对比结果如表1所示。表1改进隶属度FSVM与一般SVM的识别率比较Tab.1ComparisonofSVMbetweenthenumberofvarioustrainsetFSVM方法一对一方法一对多方法S型隶属度π型隶属度样本均匀度隶属度函数识别率/%92.490.94.396.298.8从表1可以看出，样本均匀度隶属度FSVM方法的识别率最高，π型隶属度FSVM次之，然后是S型隶属度FSVM，一般的“一对一”方法和“一对多”方法分类效果最差。3结论本文研究和分析了模糊支持向量机在多类别分类识别中的应用，在模糊支持向量机方法中，隶属度函数是整个模糊算法的主要问题。本文提出了一种基于样本均匀度的隶属度函数确定方法。样本均匀度的作用是作为一个参数来修正利用S型函数作为样本隶属度函数时可能带来的误差。通过温室植物病害的分类实验，采用样本均匀度隶属度FSVM方法，其分类效果比采用一般支持向量机方法的错误率低。参考文献：[1]LinCF,WanShD.Fuzzysupportvectormac-hines[J].IEEETransactionsonNeuralNetworks,2002,13(2):464-471.2008年1月农机化研究第1期-20-[2]ChiangJH,HaoPY.Anewkernelbasedfuzzyclusteringapproach:supportvectorcluster-ingWithcellGrowing[J].IEEETransacti-onsonFuzzySystems,2003,11(4):518-527.[3]边肇祺,张学工.模式识别[M].北京:清华大学出版社,2000.[4]VAPNIKVN.TheNatureofStatisticalLear-ningTheory[M].NewYork:SpringerVerlag,1995.[5]MBLLERKR,MIKAS,G.R’TSCH,etal.AnIntroductiontoKernelBasedLearningAlg-orithms[J].IEEETransactionsonNeuralNet-works,2001,12(2):181-201.[6]BURGESCJC.Atutorialonsupportvectormachinesforpatternrecognition[J].Know-ledgeDiscoveryandDataMining,1998,2(2):121-167.[7]SCH.LKOPFB,SMOLAAJ.LearningwithKern-els[M].MA:MITPress,2001.ApplicationofanImprovedSamplesUniformityMembershipofFSVMintheMulti-classClassificationRENDong1,2,YUHai-ye1,WANGJi-hua2,QIAOXiao-jun2(1.SchoolsofBiologicalandAgriculturalEngineering,JilinUniversity,Changchun130025,China;2.NationalEngineeringResearchCentreforInformationTechnologyinAgriculture,Beijing100097,China)Abstract:Thispaperstudiesthefuzzymembershipfunctioncalculationmethodproposedanewclassificationcalculationmethod-basedonsamplesuniformitymembershipofFSVMmethod.Themethodthatthispaperpresentshasbeenappliedingreenhousecropsdiseasediagnosissystemfor,andgotagoodresult.Improvedfuzzysupportvectormachinehasbeenprovedtobesuperiortotheordinaryone-on-oneandone-to-manymethod.SamplesuniformitymembershipofFSVMisthebestmulti-classclassificationmethod.Keywords:computerapplication;fuzzysupportvector;theoreticalresearch;multi-class;greenhouseplantdisease