人脸识别技术研究与应用的最新进展

赖剑煌教授Email:[e-mail]中山大学信息科技学院自动化系人脸识别技术研究与应用的最新进展人脸识别技术研究与应用的最新进展WhoamI?我们处于一个令人难堪的社会，在这个社会中，我们无法不借助他物就能证明自己的身份。传统的身份认证方法¾标志性物品身份证、驾照、印章、信用卡、胸卡、证明、……¾特定的信息密码、口令、暗语、……传统方法存在的问题¾不可靠泄露、冒用、伪造、……¾不方便遗忘、丢失、失窃、……人类安全面临挑战¾假冒身份是恐怖分子惯用的伎俩9.11、藏独、疆独¾假冒身份已造成重大的经济损失仅2002年，美国有990万人身份被盗，造成损失530亿美元。¾网络等重要系统的密码破解黑客事件、QQ盗号、网上银行密码生物认证新技术¾生物认证（Biometrics）利用人类自身的特征来进行身份认证。¾生物特征人类自身的特征统称为生物特征。生物特征=生理特征+行为特征z生理特征是与生俱来，如人脸、指纹、掌纹、虹膜、DNA、......；z行为特征后天形成，如笔迹、步态、声音各种生物特征的比较生物识别市场占有率生物识别产品的前景¾目前世界生物识别的市场份额每年正以50%的增长率迅速发展，2007年全球生物认证市场的总量达到41亿美元，预计2008年，全球生物认证市场的总量将达到46亿美元；¾在相对国际生物识别产业发展具有后发性的中国，自2002年以来，中国生物识别行业的市场平均增长率都在60%以上，预计到2010年，中国生物识别行业的市场规模将可能达到30亿元人民币以上。广泛的应用前景1）制作门禁系统；2）出入境检查；3）刑事侦察和疑犯追踪；4）信用卡执卡人身份确认；5）Internet上的用户身份认证；6）计算机登录系统；7）政府福利发放；9）在家庭娱乐等领域，等等。„识别问题—他是谁？人脸识别技术需要解决的问题„验证问题—他是不是他？„人脸识别流程（人脸获取，预处理）获取人脸输入系统„人脸识别流程（特征提取）⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=nppppxxxx##21„人脸识别流程（识别）„人脸识别流程（输出结果）警告警告!!!!!!!!这是张三！！人脸检测人脸检测¾人脸检测(facedetection)是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态。[1]YangMH,KriegmanD,AhujaN.Detectingfacesinimages:Asurvey.IEEETransPatternAnalysisandMachineIntelligence,2002,24(1):34~58.[2]HjelmasE.FaceDetection:ASurvey.ComputerVisionandImageUnderstanding83,236~274(2001).¾典型的方法有模板法、基于示例学习、基于器官特征的方法、神经网络、彩色信息+形状分析、AdaBoost的方法等等。人脸检测人脸检测--AdaboostAdaboost方法方法¾ViolaP.在CVPR’01提出的通过对一些弱的分类器的组合来形成一个强的分类器的方法。基于正例和负例训练集，有三个训练步骤：1.通过“积分图”，构造特征集；2.组合弱分类器为强分类器；3.级联检测器不断增加更多的强分类器结果预处理特征提取各类典型样本模式分类特征提取预处理测试集¾统计模式识别系统有训练和识别两个过程组成：训练：训练集测试„相关性1122112()()cov(,)1niiixxxxxxn=−−=−∑„欧氏距离∑=−=niiixxxxd122121)(),(相似性度量„基于几何特征的人脸识别（早期技术）„用面部关键特征的相对位置、大小、现状、面积等参数来描述人脸特征怎样特征怎样定位？定位？„可变形模版（ASM，AAM，……）ASM（形状）：AAM（形状+纹理）：„特征脸，PrincipalComponentAnalysis(PCA)„寻求有效表达数据的方向„K-L变换PCA¾K-L变换是压缩与特征提取的有效方法。„特征脸，PrincipalComponentAnalysis(PCA)„一种降维方法，„最大化总离散度„PrincipalComponentAnalysis(PCA)TXXXXNM))((1−−=∑],,,[21NxxxX=,,,,21kuuu∑特征值对应的特征向量为构造特征矩阵：⎥⎥⎦⎤⎢⎢⎣⎡=2222211,,,dduuuuuuU……pTpxUy⋅=数据降维：＝1py1py+2py……„寻求最能区分类别的投影方向„最大化类间散度，最小化类内散度()BWWSWJWWSWΤΤ=最大化最大化„LDA„新趋势¾LDA→2DLDA→2D2LDA其中，2DLDA仅对图像矩阵的列展开计算，而2D2LDA同时对行、列展开计算，使得计算过程要求计算更少的系数以及更少的计算量¾PCA→2DPCA→2D2PCA→LPCA（局部PCA）2DLDA1DLDA„独立主成分分析„IndependentComponentAnalysis（ICA）„寻求用独立分量表达数据„ISOMAP（等距映射算法）„全局最优的非线性降维方法„可以构造出最佳的保持原非线性流形本质几何分布特征的内嵌子空间，从而达到降维的目的蓝色为降维（3D→2D）后的距离：红色为实际距离„ISOMAP算法流程„思想：任意一点及其邻域点所在的流形面片可以近似为线性„降维前后，每个数据点与其邻域点的相对关系具有一定的不变性„LLE（局部线性内嵌子空间分析）„LLE算法流程3）映射到低维嵌入空间：固定Wij，优化Yi，最小化代价函数2）在Xi的领域中，计算重构每个Xi的权值Wij，使重构代价误差最小，定义最小化代价误差为：1）局部领域点搜索：计算出每一向量Xi的领域点{Xij,j=1,……,K}„二维Gabor函数实际上是一个被高斯窗所限制的小波函数：„基于Garbor小波特征的方法其中μ和ν分别代表Gabor滤波器的方向和尺度，z=(x,y)为空间位置„人脸图像的Gabor描述通过将人脸图像I(z)与多尺度、多方向的Gabor滤波器ϕμ,ν(z)作卷积实现GI＝I＊ϕ„基于Garbor小波特征的方法„Gabor小波最符合人类视觉特性„在若干关键特征点位置计算40个小波系数，8个方向，5个尺度„LBP（LocalBinaryPatterns）„一种纹理描述„对于任意单调变换和旋转具有不变性„对人脸定位的误差、光照变化具有鲁棒性„计算复杂度小以块中心灰度值为阈值对其他点进行二值化处理，并选取一定方向进行编码：将序列进行转换得到LBP编码„计算LBP流程：1）将人脸分块2）以块中心灰度值为阈值对其他点进行二值化处理，并选取一定方向进行编码：3）将序列进行转换得到LBP编码4）计算每一块在LBP编码方式下的直方图5）将各个块的LBP直方图合并得到全图LBP直方图，用以识别基于LBP方法的人脸描述方式„基于3D人脸模型的方法„形状+纹理„最新研究结果表明，3D人脸识别性能未必优于2D人脸.？？1）美国911以后出台的三个相关法案，如爱国者法案、边境签证法案和航空安全法案，都要求必须采用生物特征识别技术作为法律实施保证。国际联合航空组织2003年6月要求188个成员国要在所有的旅行证件里要使用人脸、指纹和虹膜等生物特征来进行身份认证；2）ISO/IECJTC1/SC37生物特征识别分技术委员会2006年全会于2006年7月2－11日在英国伦敦召开。中国代表团全程参加了会议。相关动态¾国际3）德国外交部11月1日宣布，申请德国护照的公民都必须在办理护照的时候留下左右两手食指的指纹;4）日本2007年11月20日起在日本全国各口岸采集世界各国入境人员两个食指指纹和面部照片；5）欧盟2008年2月开始，对非欧盟国家的入境者采集指纹与其它生物数据措施；6）……相关动态¾国际相关动态¾国内1）深圳海关、珠海海关已开始应用生物特征识别；2）2008年4月1日-2008年7月31日公安部科技局、公安部出入境管理局、公安部第一研究所、广东省出入境管理局将共同组织实施千万级人脸评测工作。测试分为三个库：目标库（GallerySet容量1000万），查询库A（LegitimateProbeSet容量10万）查询库B（ImposterProbeSet容量5万）。人脸识别系统的发展动态¾目前最受关注FaceRecognitionVendorTests（FRVT）发展：FERET(1994,1995and1996)→FRVT（2000，2002）¾FRVT2006FaceRecognitionGrandChallenge（FRGC）FRGC(2004.05-2006.03)FRVT2006¾由美国国家标准与技术中心组织，2006年1月30日提交系统，2007年3月30日首次公布测试结果；¾共有来自10个国家的22个单位参加，国际上最著名的人脸识别公司，例如：德国的CognitecSystemGmbH、美国的IdentixInc、美国的Viisage以及近来被Google收购的NevenVison等都参加了该次测试。¾国际上的一些知名公司，例如：韩国的三星公司、日本的东芝公司等也参加了该测试。¾中国的参加测试单位只有清华大学和北京大学。¾FRVT2006首次对2D人脸图像、3D人脸图像、虹膜图像这三种生物特征同时进行测试，并给出可比较的结果。¾FRVT2006的测试结果表明，自动化人脸识别技术在提高识别率方面（尤其在光照变化的条件下）有了新的进展FRVT2006¾测试关注点高分辨率静态图象（5～6兆，3008×2000pixels）3D人脸识别多样本人脸识别测试针对姿势、光照变化的预处理技术FRVT2006FRVT2006&ICE2006所使用的数据集两眼间距约190~400像素两眼间距约110~350像素两眼间距约75像素FRVT2006在FAR=0.1%的前提下：1）对于超高分辨率数据库，有三个公司的四个算法可以达到FRR2%的效果，它们依次是：NevenVision(NV1-norm,NV1-1to1),Vissage(V-norm),Cognitec(COG1-norm);2)对于高分辨率数据库，只有NevenVision(NV1-norm)的算法接近FRR2%的目标，它的FRR介于2.1%-2.3%之间;3)对于低分辨率数据库，最好的算法是日本东芝公司（Toshiba）的（TO1-norm），可以达到FRR介于2.4%-2.7%之间。FRVT2006测试结果¾对2D超高分辨率图象识别达到历史最佳水平：0.001的错误接受率，错误拒绝率下降到0.01¾对3D图象识别与2D图像识别水平相当：FAR＝0.001FRR＝0.005～0.015（3D）FRR＝0.006～0.015（2D）FRVT2006测试结果¾人脸识别VS.虹膜识别性能相当！FAR＝0.001FRR＝0.011～0.014（虹膜）FRR＝0.008～0.016（人脸）¾对克服姿势、光照变化的预处理较往年均有重大突破！FRVT2006关于光照条件下的人脸识别结果，在FAR=0.1%的前提下：光照变化的条件下FRVT2006识别结果N/ACognitec(COG,约16%~19%)NevenVision(NV1-norm,约18%~21%)SAIT(ST-norm,约15%~18%)Viisage(V-norm,11.9%~14.6%)Cognitec(COG,约20%~22%)NevenVision(NV1-norm,约13%~15%)SAIT(ST-norm,10.3%~13%)Viisage(V-norm,约13%~16%)lowresolutionsethighresolutionsetvery-highresolutionsetFRVT2006测试结果¾机器赶超人类！！测试内容：随机挑选80对进行辨认判断是否为同一人，图像质量为不可控光照条件、高分辨率，结果有三个算法测试结果比人的识别好。