HCI-sgshan-Part-08-AFR-v3.5

山世光，[e-mail]1人脸检测与识别技术概述山世光中科院计算所山世光，[e-mail]2引子•人世间找不两张完全一样的脸！–人脸是人类赖以区分不同人的基本途径•谁决定了你的长相？–基因+成长环境–双胞胎–夫妻相•世间一切尽在脸上！山世光，[e-mail]3提纲•相关背景•人脸识别的基本原理•人脸识别技术评测•人脸检测典型方法•面部特征定位典型方法•人脸识别的典型方法•开放问题及讨论山世光，[e-mail]4无处不在的身份验证•如何证明你的身份？–设想你被警察拦下...•传统方法–Whatyouhave•身份证，暂住证，结婚证，工作证，银行卡，钥匙...–Whatyouknow•Password，information(去清华)...–Whatyouare/howyoudo•一种新的技术手段——Biometrics山世光，[e-mail]5传统方法有什么问题？•卡、钥匙丢失–青年公寓的钥匙牌...•密码危机–密码遗忘•纽约每天1000人以上忘记密码–密码被猜中•生日、电话号码、车号、宿舍...–Heavywebusershaveanaverageof21passwords;81%ofusersselectacommonpasswordand30%writetheirpasswordsdownorstoretheminafile.(2002NTAMonitorPasswordSurvey)•损失–2002年，仅美国330万人次的身份盗用；670万信用卡诈骗案山世光，[e-mail]6一种新的技术手段•生物特征识别技术Biometrics•什么是Biometrics?–Bio——生物–Metrics——测量•事实含义–通过人体自身的生理特征(whatyouare)或行为特征(howyoudo)进行身份验证的技术山世光，[e-mail]7Biometrics•生理特征(whatyouare)–Finger,face,palm,hand,foot,iris,vein...•行为特征(howyoudo)–步态，声音，敲击键盘，签名...人人拥有，人各不同！山世光，[e-mail]8生物特征识别技术(Biometrics)山世光，[e-mail]9Biometrics孰优孰劣？•Universality(alluserspossessthisbiometric)•Uniqueness(variesacrossusers)•Permanence(doesnotchangeovertime)•Collectability(canbemeasuredquantitatively)•Performance(Lowerrorratesandprocessingtime)•Acceptability(isitacceptabletotheusers?)•Circumvention(canitbeeasilyspoofed?)山世光，[e-mail]10Biometrics比较BiometricsUniversalityUniquenessPermanenceCollectabilityPerformanceAcceptabilityCircumventionFaceHLMHLHLFingerprintMHHMHMLHandGeometryMMMHMMMIrisHHHMHLHRetinalScanHHMLHLHSignatureLLLHLHLVoiceMLLMLHLFacialThermogramHHLHMHH山世光，[e-mail]11为什么要做人脸识别？•多学科领域的挑战性难题–模式识别：最典型、最困难的模式识别问题–人工智能：人类智能的基本体现–计算机视觉：实现人眼的功能–下一代人机交互•让计算机不再“熟视无睹”•让计算机具有人类的情感•广泛的应用前景…•人脸识别相比其他生物特征识别的优势…山世光，[e-mail]12应用模式典型具体应用特点说明应用领域身份识别出入境管理过滤敏感人物（间谍、恐怖分子等）国家安全公共安全嫌疑人照片比对公安系统用于确定犯罪嫌疑人身份敏感人物智能监控监控敏感人物（间谍、恐怖分子等）网上追逃在PDA等移动终端上进行现场比对会议代表身份识别防止非法人员进入会场带来危险因素关键场所视频监控如银行大厅，预警可能的不安全因素家政服务机器人能够识别家庭成员的智能机器人人机交互自动系统登陆自动识别用户身份，提供个性化界面智能Agent自动识别用户身份，提供个性化界面真实感虚拟游戏提供真实感的人物面像，增加交互性身份验证证件查验(护照、身份证、驾照)海关、港口、机要部门等查验持证人的身份是否合法公共安全准考证查验防止替考问题教育机要部门物理门禁避免钥匙和密码被窃取造成失窃公共安全机要信息系统门禁避免单纯的密码被窃取造成信息被窃信息安全面像考勤系统方便，快捷，杜绝代考勤问题企业应用金融用户身份验证避免单纯的密码被窃取造成财产损失金融安全电子商务身份验证安全可靠的身份验证手段金融安全智能卡安全可靠的授权信息安全会议代表身份验证防止非法人员进入会场带来危险因素公共安全屏幕保护程序方便快捷的允许合法用户打开屏保人机交互山世光，[e-mail]13人脸识别相关研究内容•生物特征识别–人脸、指纹、虹膜、视网膜、掌纹、手形•人机交互(HCI)•人脸图像编码/压缩•表情分析，情感计算•人脸动画faceanimation•人脸属性分类–种族、性别、年龄•Attractiveness判别山世光，[e-mail]14与其他生物特征识别的比较•生物特征识别：未来的身份验证方法！–生物：指纹、虹膜、人脸、掌纹、手形、视网膜、红外温谱–行为：笔迹、步态、声纹•人脸识别的优点–可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用–非接触式采集，没有侵犯性，容易接受–方便、快捷、强大的事后追踪能力–符合我们人类的识别习惯，可交互性强，无需专家评判•人脸识别的不足–不同人脸的相似性大–安全性低，识别性能受外界条件的影响非常大山世光，[e-mail]15技术挑战光照环境条件饰物（眼镜帽子等）面部毛发(头发，胡须)精神状态健康状况化妆、整容影响人脸图像表观的因素摄像设备人与摄像设备的位置关系（距离角度等）图像存储质量年龄变化意外损伤山世光，[e-mail]16Fromthesameperson?Yes?No?…山世光，[e-mail]17没有想象的那么简单！•Howmanyindividualsinthispicture?山世光，[e-mail]18没有想象的那么简单！•Howmanyindividualsinthispicture?山世光，[e-mail]19我们的FR能力很强吗？山世光，[e-mail]20我们的FR能力很强吗？山世光，[e-mail]21我们的FR能力很强吗？•Poorperformanceforunfamiliarfacerecognition(UFR)–30%errorrateforUFR[Bruceetal.1999]•30%:hasmatchnomatchorfalsematch–20%:hasmatchfalselyjudgenomatch–10%hasmatchselectafalsematch•30%:nomatchfalselyselectonematch山世光，[e-mail]22提纲•相关背景•人脸识别的基本原理•人脸识别技术评测•人脸检测典型方法•面部特征定位典型方法•人脸识别的典型方法•开放问题及讨论山世光，[e-mail]23人的“眼脑系统”如何识别？初始学习(0岁～X岁)渐进学习(活到老、学到老)妈妈、爸爸、奶奶、爷爷…孙红雷、徐静蕾、布什、奥巴马...新认识人图像/视频待识别人图像/视频人脸识别方法、技巧特征提取特征比对非常熟悉比较熟悉一面之缘见过照片识别结果认识人数据库山世光，[e-mail]24提取了什么样的特征？•天赋的能力还是后天获得的？•脸形，面部器官结构–国田由用，目甲风申•皮肤和肤色–光滑/粗糙，黝黑/白皙•局部特性–黑痣，刀疤，鹰勾鼻子，独眼龙•动态特征–酒窝，皱纹山世光，[e-mail]25关于人类人脸识别的19个“结论”•FaceRecognitionbyHumans:NineteenResultsAllComputerVisionResearchersShouldKnowAbout.•PawanSinha,BenjaminBalas,YuriOstrovsky,RichardRussell•ProceedingsoftheIEEE,2006山世光，[e-mail]26与图像分辨率的关系•#1:Humanscanrecognizefamiliarfacesinverylow-resolutionimages–即使在很低的分辨率下，仍能认出熟悉的面孔•#2:Theabilitytotoleratedegradationsincreaseswithfamiliarity.–容忍图像降质的程度随熟悉程度提高•#3:High-frequencyinformationbyitselfisinsufficientforgoodfacerecognitionperformance–仅靠高频信息是不足以准确识别人脸的。山世光，[e-mail]27WhoTheyAre?MichaelJordan,WoodyAllen,GoldieHawn,BillClinton,TomHanks,SaddamHussein,ElvisPresley,JayLeno,DustinHoffman,PrinceCharles,Cher,andRichardNixon.山世光，[e-mail]28WhoTheyAre?JimCarrey(left)andKevinCostner.山世光，[e-mail]29处理过程的本质属性•#4:Facialfeaturesareprocessedholistically–脸部特征是作为整体被进行处理的•#5:Ofthedifferentfacialfeatures,eyebrowsareamongthemostimportantforrecognition.–眉毛对识别是最重要的•#6:Theimportantconfiguralrelationshipsappeartobeindependentacrossthewidthandheightdimensions.–(五官)配置关系与图像长宽比无关山世光，[e-mail]30全局比局部重要？•全局倾向使得我们很难识别出这两个人WoodyAllenandOprahWinfrey.山世光，[e-mail]31全局比局部重要？•ThatcherIllusion山世光，[e-mail]32局部特征vs全局特征•明星漫画：夸大了独特之处–问题：Howtofindthesesalientfeaturesautomatically?山世光，[e-mail]33没有眉毛会如何？山世光，[e-mail]34可否识别变形的脸？山世光，[e-mail]35所采用的特征线索:Pigmentation,shapeandmotion•#7:Face-shapeappearstobeencodedinaslightlycaricaturedmanner.–脸形是以稍微夸张的方式进行编码的（稍微偏离真实