安徽工业大工商学院毕业学士论文基于OpenCV的人脸识别算法姓名:陈滔申请学位级别:学士专业:测控技术与仪器指导教师:方挺摘要人脸在社会交往中扮演着十分重要的角色,是人类在确定一个人身份时所采用的最普通的生物特征,研究人脸跟踪识别及其相关技术具有十分重要的理论价值和应用价值。彩色图像序列的人脸检测、跟踪与识别技术是随着计算机技术的高速发展和视频监控等应用的需要在近几年才逐渐成为一个研究热点。本文着重构建一套人脸跟踪识别系统,致力于精确实时地对彩色视频中的人脸图像检测跟踪,并可以将跟踪到的人脸图片传输到识别端进行身份识别。系统分为客户端和服务器两部分。针对传统Camshifl跟踪算法进行形态学处理、分配多个跟踪器等改进后的算法应用于客户端进行多人脸的跟踪。服务器端首先将人脸图像按其主要特征进行分块,再对分块图执行Eigenface算法实现人脸身份的识别。这套系统完成了对多人脸的跟踪效果,可广泛的应用于各种安防系统之中如:ATM机监控系统,门禁系统等。AbstractHumanfaceis0111primaryfocusofattentioninsocialintercourseplayingamajorroleiconveyingdentityandemotion.Researchonthefacetracking,recognitiontechnologyhasgreattheoreticalandpracticalvalue.ThispaperfocusesOilbuildingasetofhumanfacerecognitionandtrackingsystemtocommittedtoaccurateandreal-timecolorvideoimages,andcalltransmitthetrackedhumanfaceimagetotherecognitionparttoidentifytheperson’Sstatus.Thesystemisdividedintoclientandserverparts.ThetrackingalgorithmwhichcarriesonmorphologyprocessingaftertraditionaltrackalgorithmCamshiflandassignmentsseveraltrackingdevicesisappliedtotheclientforduplexfacetracking.Theserver—sidefirstdividesthepersonfaceimageintoblocksaccordingtoitschieffeature,thentheblocksusestheEigenfacealgorithmseparatelytorealizetheperson’Sstatusrecognition.Thesystemimplementationformultiplefacetrackingcallbewidelyusedamongthevarioussecuritysystems,suchas:ATMmachinemonitoringsystem,accesscontrolsystem.Keywords:FaceDetectionFaceTrackingFaceRecognitionEigenfaceCamshift第一章绪论本章论述了本文选题的背景、研究的意义、课题研究现状及国际发展动态,并对相关理论和应用领域做了详细论述,最后给出了本文的主要研究工作。1.1选题背景1.视觉是人类从大自然中获取信息的主要手段。据统计,在人类获取的信息中,视觉信息约占60%,听觉信息约占20%,其它的如味觉信息、触觉信息等加起来约占20%。由此可见视觉信息对人类的重要性,而人类获取视觉信息的主要途径来自于对图像的处理。人类的面部提供了大量视觉信息,知输入通道。2.口型识别、表情识别等,都建立在人脸的基础上。随着信息技术的发展以及应用需求的剧增,人脸检i9l!}【l-21(FaceDetection)作为人脸信息处理中的一项关键技术,日益成为一个热门的研究课题。人脸检测的目的是自动确定输入图像中是否存在人脸,并给出人脸的个数、位置、大小等参数。人脸跟踪f3叫(FaceTracking)则是要在图像序列中确定出各帧间人脸的对应关系,并在后续序列帧中跟踪出已定位人脸的运动轨迹。人脸识别【5】(FaceRecognition)是在人脸检测的基础上分析人脸的图像特征,进而确定人脸的身份特征。人脸是一类具有相当复杂的细节变化的自然结构目标,人脸器官的形状、尺寸、纹理、表情等变化复杂,难以用统一的模式加以描述,而人脸检测的实应用环境也十分复杂,不同的成像条件、不确定的饰物及复杂的背景等均向人脸检测算法提出了苛刻的要求。同时,序列图像中运动场景的快速分割、人脸面部的非刚性运动、人脸自遮挡和目标之间互遮挡的处理等也为人脸的跟踪带来了一定的挑战,人脸的检测与跟踪技术涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识。并且目前大多系统都要求使用者固定在摄像机前的某一位置。然而人总是处于运动中的,尤其在信息交互过程中,对使用者的这种要求局限了系统的应用性。所以,如果能找到上述问题的解决方法,成功构造出实时高效的人脸跟踪与识别系统,将为解决其它类似的复杂模式的跟踪与识别提供重要的启示。因此,人脸跟踪与识别作为相关研究领域的关键技术,近年来已成为机视觉方面的一个重要研究课题及备受关注的前沿方向。2基于OpenCV的人脸跟踪识别系统研究1.2人脸跟踪识别国内外研究进展近些年来,随着计算机硬件性能的不断发展,基于图像传感器的视频监控系统获得了迅猛发展,各种面向复杂应用背景的视频监控系统也随之大量涌现。也就是说,随着信息技术的不断发展,视频监控系统在商业、国防安全和军事应用领域中的需求将日益增加。由于视频监控系统具有如此大的应用前景,它引起了许多国家的高度重视,一些国家投入大量资金和科技人员进行了广泛研究,已开发了如CMU的VASM、W4、Pfinder以及SmartKiosk系统。同时它也成为众多国内外学术会议和专题讨论的主题:如IEEEPAMI2000年8月期上就有一个关于视觉监控的专题;2001年10月IEEE举行了第3代视觉监控国际专题讨论会;中国科学院自动化所分别在2002年与2003年主办了全国智能视觉监控学术会议。在1996年至1999年间,美国国防高级研究署(DARPA)设立了以卡内基梅隆大学为首联合美国十几所高等院校和研究机构参加的视频监控项目VSAM(VideoSurveillanceandMonitoring)。该项目的主要目标是利用视频理解、网络通信、多种传感器融合等技术实现对未来城市、战场等进行自动监控。DARPA在2000年又资助了重大项目HID计划(HumanIdentificationataDistance),研究开发多模式的监控技术以实现远距离情况下人的检测、分类和识别,以增强国防、民用等场合的保护能力,使其免受恐怖袭击。在欧洲,欧盟EULTR(EuropeanUnionLongTermResearch)资助比利时Katholieke大学的电子工程系、法国国家计算机科学和控制研究院INRIA等欧洲著名的大学和研究机构联合研究为警察、法庭等司法机关提供基于图像处理的监控系统。该研究的目标是提供图像视频处理、理解技术,让司法机关能从现有的监控系统的录像资料中获取更多有用的犯罪证据。另外,欧盟IST(InformationSocietyTechnologies)的Frameworks程序委员会也在1999年设立重大项目ADVISOR(AnnotatedDigitalVideoorSurveillanceandOptimizedRetrieval),旨在开发一个系统来有效地管理公共交通系统(如地铁),从而缓解城市交通压力,它覆盖了人群和个人的行为模式分析、人机交互等研究。日本也开展了用于共区域及智能小区的图像监控的CDVP(TheCooperativeDistributedVisionProject)计划等。在国内,已有许多高等院校和研究机构在智能视频监控领域投入了相当的研究精力,例如,上海交通大学、清华大学【6。7l、华中科技大学和中国科学院自动化研究所【8】等。其中,中国科学院自动化研究所模式识别实验室对该领域做了大量研究,他们在人体运动分析、交通行为事件分析、交通场景视频监控和智能轮椅视觉导航等领域取得了许多科研成果。为了促进国内智能视频监控的发展,中国科学院自动化研究所在2002年和2003年分别举办了第一届和第二届全国智能视觉监控会议。《自动化学报》在2003年5月出版了一期视觉监控专刊。《计算机学报》、《软件学报》和《控制与决策》等一些杂志也对智能监控系统中一些关键技术进行刊载。当前的研究主要集中在多摄像机融合、摄像机标定、目标检测、目标跟踪、行为识别与描述等关键技术方面。其中,运动目标的跟踪识别是其中的核心技术之一,它是后续的各种高级处理,如目标行为分析、行为识别等的础,也是视频监控技术自动化和实时应用的关键。目标跟踪识别的实质是通过对图像传感器拍摄到的视频序列进行分析,计算出目标在每帧图像中的位置、大小和运动速度并识别其身份。其难点在于图像是从三维空间N-维平面的投影,本身存在信息损失,而且运动目标本身并不是一个确定不变的信号,它在跟踪识别过程会发生旋转、缩放、位移等各种复杂的变化。除此之外,图像信息往往会受到各类噪声、遮挡、光照等因素的影响。因此,开发出能够从容应对复杂环境的各种变化,精确、快速和稳定地跟踪识别运动目标的算法仍然是当前急需解决的课题。1.3相关理论基础与应用领域由以上章节可知当前人脸方面的研究已经呈现一片欣欣向荣之势,对人脸的研究涵盖了模式识别、图像处理、计算机视觉以及人工智能等各方面的知识内容。人脸跟踪与识别技术的应用领域也十分广泛,主要包括视频会议、智能监控、图像与视频检索、人机交互、门禁控制以及家庭娱乐等。下面分别介绍人脸处理中的各种理论基础和人脸研究成果的各类应用。1.3.1理论基础1、模式识别模式识别,是通过计算机用数学方法来研究模式的自动处理。在人脸识别中,如果是个体识别,则每个人是一个模式,预先存在数据库里的图像就是样本;如果是性别识别、种族识别和年龄识别,则不同的性别、种族或年龄分别构成一个模式:如果把图像中的每个子图都看作一个模式,则面部检测也是一个模式识别的问题,要求正确地把每个子图模式归入到人脸区域类或非人脸区域类。模式识别一般分为如下几类:统计模式识别:如果模式类是几何可分的,则用几何分类法按照某种距离度量进行分类;若是几何不可分的,则用概率分类法,如贝叶斯决策理论。结构模式识别:利用语法的递归性,用小而简单的基元和语法规则来描述大而复杂的模式。模糊模式识别:将模糊技术引入到模式识别中,对特征和分类结果模糊化,4基于OpenCV的人脸跟踪识别系统研究使得识别过程更能反映事物的本质。聚类分析:当没有样本来训练分类器时,要求分类器能根据样本间的相似程度自动分类。模式识别在人脸检测算法中有着很重要的作用,有很多算法是基于模式分类的技术来检测人脸的,同时在其它检测技术中,肤色模型、人脸区域验证等检测环节也需要模式识别的相关技术。2、图像处理这是一门用计算机对图像数据进行加工处理的学科,它主要有以下几方面的内容:图像的数字化、图像分割、图像描述、图像增强、图像复原、图像的压缩编码以及运动图像的处理f9】等。数字图像的各项内容渗透在人脸检测与跟踪识别的诸多环节中。3、计算机视觉视觉是人类获取信息的主要来源,也是适应复杂环境的感知基础。使计算机具有与人类相似的视觉处理能力,从而能更好的协助以至代替人的工作,这是人类长期追求的梦想。人类的视觉系统利用投影到视网膜上的二维的像对物体进行三维的理解。为此,计算机需要具有处理、分析和理解图像的能力。计算机视觉【9】是一门用计算机来实现人的视觉功能,实现客观三维世