基于SVM的人脸识别

基于SVM的人脸识别摘要：主成分分析（PCA）是人脸识别中特征提取的主要方法，支持向量机（SVM）具有适合处理小样本、非线性和高维数问题，利用核函数且泛化能力强等多方面的优点。文章将两者结合，先用快速PCA算法进行人脸图像特征提取和选择，用所选择的人脸特征向量训练多个支持向量机（SVM），最后用训练好的支持向量机（SVM）进行人脸识别的分类。在ORL人脸数据库上进行了实验，取得了满意的识别效果。关键词:人脸识别；主成分分析（PCA）；奇异值分解（SVD）；支持向量机（SVM）引言人脸识别[1]是计算机视觉和图像模式识别领域的一个重要研究课题，它在生物领域、安全领域、商贸领域及经济领域都有着广泛的应用前景，诸如身份验证、指纹识别、监控系统等。但由于人脸表情丰富，人脸随年龄增长而不断变化，人脸受光照、成像角度及成像距离等影响，这诸多因素使得人脸识别成为一项极富挑战性的课题。人脸识别技术主要包括人脸检测阶段、特征提取阶段和人脸识别阶段，特征提取和人脸识别是研究的重中之重，当前主要的特征提取方法有主成分分析、小波分析、奇异值特征向量等，这些提取方法都是在光照变化不大的前提下才能取得良好的效果，但是光照变化比较大时，计算就会比较复杂，容易获得带噪声的人脸特征向量，导致人脸识别的精度低。人脸分类器主要有：判别分析、贝叶斯分类器、最近邻分类器和K近邻分类器等，这些方法是基于线性的分类器，对于人脸这种高维的特征向量的分类识别率不高，由于面部表情之间差别比较大，因此识别率比较低。神经网络分类识别能力强，但由于其是一种大样本方法，且存在过拟合和局部最优的缺陷等也不是一种非常理想的分类器。支持向量机是一种专门针对小样本、非线性高维的模式识别问题，解决了神经网络的存在的缺陷，因此备受研究人士的亲睐[2]-[5]。1.人脸特征提取图像识别中，常常用矩阵来表示人脸图像。然而，高维图像数据对整个识别系统的识别速度有限的，也不利于实时识别系统的实现。降维技术是解决这一问题的常用方法，使数据从原始图像高维空间转化为维数大大减小的特征空间，同时，又保留原始图像数据的绝大部分信息。主成分分析利用K-L变换得到高维图像空间的一组正交基，保留其中较大的特征值对应的正交基，组成特征脸空间。将PCA用于人脸图像的最优表示，应用主分量重构人脸，提出特征脸（Eigenface）的概念，用PCA实现人脸图像的紧致表示，认为任何一幅图像都可以用一组特征脸的线性加权和来近似重构，其权重系数可以通过将人脸图像在本征脸空间投影得到，然后用投影到低维空间中基函数上的系数来表示人脸并进行识别，并采用奇异值分解（SVD）算法简化了特征脸的计算。对于一幅M×N的人脸图像，将其每列相连构成一个D=M×N维的列向量。D就是人脸图像即图像空间的维数，设n是训练样本的数目，xi为第i幅人脸图像形成的人脸向量，则样本协方差矩阵为：Σ=（x-u）（x-u）=XX，其中u是训练样本的平均图像向量：u=x，且X=（x-u，x-u，…，x-u），维数为D×D。奇异值分解定理（SVD）：设矩阵A∈R，rank（A）=r则存在两个正交矩阵U和V，以及对角阵Λ，使得A=UΛVT，其中Λ=；D=diag（，，…，），λ（i=1，2，…，r）为矩阵XX和矩阵XX的特征值，Ui和Vi分别是XX和XX对应于λ的特征向量。上述分解被称为矩阵A的奇异值分解，为A的奇异值。依据SVD定理，令λ（i=1，2，…，r）为矩阵XX的r个非零特征值，νi为XX对应于λ的特征向量，则XX的正交归一特征向量ui为：u=Xν（i=1，2，…，r）。通过求解维数较低的矩阵XX的特征值和特征向量实现了对样本集的K-L变换。当然这样得到的特征向量的维数比较高，为了减少维数，把特征值从大到小排列，选取前k个，构成新的特征空间。由于这些特征向量对应的图像很象人脸，所以被称为“特征脸”。任何一幅图像都可以向特征脸子空间投影并获得一组坐标系数，这组坐标系数表明了该图像在特征脸子空间的位置，从而作为人脸识别的依据。2.支持向量机支持向量机SVM（SupportVectorMachines）是Vapnike等人在上世纪九十年代初建立的一种新型的学习机器，它是在以解决小样本机器学习问题为目标的统计学习理论（SLT）的基础上发展起来的。SVM建立在SLT的VC维理论和结构风险最小化原理的基础上，根据有限的样本信息在模型的复杂度和学习能力之间寻求最佳折中，获得最好的推广能力。与传统方法相比，SVM能够有效地避免过学习、欠学习、维数灾难以及陷入局部极小值等问题，所以它成为机器学习的一个新研究热点。支持向量机作为统计学习理论的杰出代表，在分类和模式识别等方面取得了很好的效果，将其应用到人脸识别系统中，可以提高其成功率和准确率。2.1支持向量机分类线性支持向量机是从线性可分情况下的最优分类超平面发展而来，由于最优超平面的解最终完全是由支持向量决定的，所以这种方法后来被称为支持向量机（supportvectormachines）。线性支持向量机分为线性可分和线性不可分两种情况。在实际问题中，分类问题往往是非线性问题，因此我们需要而最优分类面也应该是非线性的。支持向量机是通过引入特征变换来将原空间的非线性问题转化为新空间的线性问题，同时利用核函数来解决非线性分类问题。记K（x，x）（φ（x）·φ（x）），称其为核函数，通过核函数将输入空间的样本通过某种非线性变换映射到高维特征空间，使其线性可分，并寻找样本在此特征空间中的最优线性分类超平面。理论上只要选取一个满足Mercer条件的核函数，就可以构造非线性的支持向量机。常用的核函数有：线性核函数（linearfunction）K（x，x′）=（x·x′）多项式核函数（polynomialfunction）K（x，x′）=（x·x′+1）径向基核函数（radialbasisfunction）K（x，x′）=exp（-g‖x-x′‖）Sigmoid核函数（Sigmoidfunction）K（x，x）=tanh（ν（x·x′）+c）2.2支持向量机分类器SVM最初是为两类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。构造SVM多类分类器的方法主要有两种：一是直接法，直接在目标函数上修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”的实现多类分类（但计算复杂度高，只适合小型问题）；二是间接法，主要是通过组合多个二分类器来实现多分类器的构造。常见的方法有：k个类别需要个支持向量机，当对某个未知类别的样本进行分类时，最后得票最多的类别即为该未知样本的类别。3.实验结果3.1实验环境该实验采用的是ORL人脸数据库。该人脸数据库包含了英国剑桥大学从1992到1994年间在实验室采集到的人脸图像数据，由40个人，每人10幅，共400幅图像组成。每幅图像的分辨率为112×92=10304，灰度级为256。将数据集中每个人的10张人脸图像分成两组，前5张作为训练集，后5张作为测试集。训练集和测试机各有200个人脸图像样本。3.2实验过程3.2.1PCA人脸特征提取（1）图像预处理。将每个人的照片进行类别编号，编号即为每个人的所属类别，将每个人前5张照片放在训练图片库，组成训练样本集，后5张照片放在测试图片库，组成测试样本集，先将92×102维的图像进行预处理，将维数降为28×32。降维前后的图像比较如下图所示。（2）特征提取。利用快速PCA降维方法去除像素之间的相关性，从中提取出主成分，将28×32维降为20维，则该人脸样本都以这20维的特征向量来代表。下图为训练集20个人的特征脸。3.2.2构造多类SVM分类及核函数的选择在多类SVM训练阶段，由40类样本产生780个分类器。在分类阶段，让测试样本依次经过这些二类分类器分类，最终通过投票机制来确定类别数。通常采用径向基核函数（RBF），当g=0.01，C=100，在200个测试集中进行分类的正确识别率为92%，当g=0.01，C=130时，取得的正确识别率为93.9%，当g=0.01，C=130时，分类的正确率为94.1%。3.2.3不同分类器之间关系的比较前面步骤全部一致，下面分别利用三阶近邻、最近邻和SVM对测试样本进行识别。3.2.4实验结果分析（1）快速PCA算法可有效地降低人脸图像样本的维数，简化分类计算率。（2）方差贡献率高达90%时，由主成分向量重构的特征脸与原始的重构特征脸区别很小。（3）SVM核函数的选择很重要，参数的选择与识别率之间的关系很大，优化参数的选择非常重要，当前如何选择参数仍然是研究者探讨的热点。（4）在相同主成分贡献率的前提下，比较SVM、最近邻和三近邻分类器的分类效果。结果显示：当贡献率较高时，SVM的识别率由于其它两种分类器，即SVM是相对比较理想的多类分类器。4.结论本文结合PCA算法与SVM的特点，提出了用于人脸识别的PCA—SVM方法。快速PCA算法将原始图像投影到特征空间中，去掉了图像大量的冗余信息，同时，保留了图像的有用信息。该算法既实现了PCA算法的特征压缩和提取。然后用SVM训练多个分类器解决多分类器问题，与传统方法相比识别率较高。然而如何有效地实现PCA算法与SVM、如何有效地选择SVM核函数的参数，从而进一步提高识别率是下一步有待深入探讨的问题。参考文献[1]ChellappaR,etalHumanandMachineRecognitionofFaces:ASurvey[J].ProceedingsofIEEE,1995,83（05）:705-740.[2]齐兴敏.基于PCA的人脸识别技术的研究[D].武汉.武汉理工大学,2007.[3]于真.基于支持向量机的人脸识别技术研究[J].计算机仿真,2011,28（12）:296-297.[4]孟繁特.人脸识别关键技术的研究[D].哈尔滨.哈尔滨工业大学模式识别与智能系统专业,2011.