彩色图像人脸高光区域的自动检测与校正方法

Vol.14,No.11©2003JournalofSoftware软件学报1000-9825/2003/14(11)1900彩色图像人脸高光区域的自动检测与校正方法∗陈锻生1,2+,刘政凯11(中国科学技术大学电子工程与信息科学系,安徽合肥230027)2(华侨大学计算机科学系,福建泉州362011)AMethodforAutomaticDetectionandCorrectionofHighlightedAreainColorFaceImageCHENDuan-Sheng1,2+,LIUZheng-Kai11(DepartmentofElectricalEngineeringandInformationScience,UniversityofScienceandTechnologyofChina,Hefei230027,China)2(DepartmentofComputerScience,HuaqiaoUniversity,Quanzhou362011,China)+Correspondingauthor:Phn:86-595-2693985,Fax:[phone],E-mail:[e-mail](11):1900~1906.:Differentenvironmentilluminationhasagreatimpactonfacedetectionandrecognition.Theautomaticdetectionandradiationcorrectionofahighlightedfaceareaishelpfultoanalyzeandidentifyhumanfacescorrectlyinacolorimage.Inthispaper,anovelapproachispresentedbasedonadichromaticreflectionmodeltodetectandcorrecthighlightedskinpixelsintheTSL(tint-saturation-luminance)colorspace.Afterinspectingthedistributionconfigurationofskinpixelsinvariouscolorspacesandthespectrumreflectionfeaturesofhumanskin,theauthorscarryoutthehighlightedareaanalysisonacriticaltwo-dimensionalplaneinsteadofinathree-dimensionalcolorspace,whichbringsforthcertainadvantages:computationcomplexityisdeduced,ratesbetweeneigenvaluesareproducedinstepwisePCAtodetectautomaticallytheexistenceofhighlightedskinandestimaterobustlytheskindichromaticreflectionvectors.Thehighlightedskinregionsarecompensatedbasedonthedichromaticreflectionmodel.Keywords:skinmodel;highlightdetection;radiationcorrection;dichromaticreflectionmodel摘要:人脸检测和识别受不同环境照明的影响很大,彩色图像中人脸高光区域的自动检测和辐射校正有助于对人脸的正确分析和识别.提出了一种在TSL(tint-saturation-luminance)彩色空间基于双色反射模型进行高光检测和辐射校正的新方法.通过考察肤色在各种不同彩色空间中的分布形态,以及对皮肤光谱反射特性的分析,∗SupportedbytheScientificResearchFoundationofOverseaChineseAffairsOfficeofStateCouncilunderGrantNo.02QZR15(国务院侨办科研基金);theNaturalScienceFoundationofFujianProvinceofChinaunderGrantNo.A0210017(福建省自然科学基金)第一作者简介:陈锻生(1959－),男,福建泉州人,教授,主要研究领域为数字图像处理,多媒体技术.陈锻生等:彩色图像人脸高光区域的自动检测与校正方法1901采用关键的2维平面代替3维彩色空间进行高光分析.一方面降低了算法复杂度,另一方面又可以在序贯主分量分析中提出特征值比值,迅速而准确地自动检测是否有皮肤高光区域的存在,同时还可以鲁棒地确定皮肤双色反射矢量,应用双色反射模型进行肤色高光区域的辐射校正.关键词:肤色模型;高光检测;辐射校正;双色反射模型中图法分类号:TP391文献标识码:A关于人脸的计算机视觉研究是图像模式识别领域中倍受重视的一个研究热点[1,2].对成像时光照的正确估计有助于对图像中的人脸检测和识别.因此,本文提出了一种自动检测彩色图像中是否出现高光照人脸区域以及如何对该区域进行辐射校正的新技术.该方法为人脸检测中选择合适的肤色模型提供了一种有效的自适应手段,也可以成为数码成像设备检测照明光线主成分的一种手段.根据Klinker等人[3]的研究,彩色图像分割是高光分析中的主要困难之一,分割错误或不准确对高光分析均会产生直接影响.Strörring等人[4]通过人工选择皮肤的高光区域,根据双色反射模型估算照明色彩取得较高的精度.系统分析和实验均证明,双色反射模型基本可以反映人的活体皮肤在可见光波段的反射特性.但是,这些高光分析都是直接在三维彩色空间中寻求双色反射模型中的面反射矢量和体反射矢量,需要复杂的分析计算.我们通过考察不同彩色空间中的肤色分布形态以及对皮肤光谱反射特性与机制的分析,提出了一种在TSL(tint-saturation-luminance)彩色空间中自动选择候选肤色区域、可降到二维平面进行快速、稳健的高光检测和辐射校正的新方法,并在普渡大学的彩色人脸数据库ARDatabase[5]中获得了较好的实验结果.1系统分析与技术方案本节首先考察人脸皮肤的反射波谱特性,使用双色反射模型为皮肤反射机制建模,然后根据不同彩色空间中皮肤彩色的分布特性,选择有利于高光检测的彩色空间,最后提出解决问题的技术方案.1.1皮肤的反射光谱与双色反射模型图1表示皮肤的3种反射光谱曲线[4].最上面的曲线代表白种人,中间的代表被晒红的白种人,下面的是黑人.在这些皮肤反射光谱曲线中,最典型的皮肤反射光谱特征是绿光波段中血色素吸收所形成的W曲线[6].可惜该特征不会呈现在RGB的色彩空间中,因为一般的彩色成像设备并没有将绿光波段细分成若干波段.尽管如此,皮肤反射光谱特性曲线至少反映出皮肤反射率在总体上是随波长的增加而上升.这与如图2(a)所示的皮肤彩色在RGB中的分布是一致的,也与文献[7]中的RGB的肤色特征一致,但是彩色分量满足这个不等式的常见物体颜色也不少,比如红砖或未油漆的木板.同时,有的肤色也不满足该不等式.Fig.1Spectralreflectancecurvesofhumanskin图1皮肤的反射光谱曲线1902JournalofSoftware软件学报2003,14(11)(a)RGBspectraldistributionplot(b)TSLspectraldistributionplot(a)RGB光谱分布图(b)TSL光谱分布图Fig.2Spectraldistributionplotofhumanskinintrainingfield图2人脸皮肤训练场地的光谱分布图人的皮肤可分为较薄的表皮层和表皮下较厚的真皮层.人体皮肤上的表面反射发生在表皮,大约占辐射量5%的表面反射率与光波波长无关,也与人种无关.其余95%的入射光进入皮肤,在这两层皮肤中被吸收和散射,散射光中的一部分逸出表皮形成皮肤的体反射.皮肤在较强光照下可能出现高光区,区中的像素以不同比例混合了表皮层的面反射和真皮层的体反射,而非高光区的像素基本上只有体反射.因此,皮肤反射机制可以用双色反射模型描述,如图3所示.体反射Cb基本上具有朗伯体漫反射的特点,面反射Cs基本上具有镜面反射的特点,而且面反射的光谱与入射光谱一致.皮肤的双色反射模型可用下式描述:RedCbCsGreenbbCyxm×ssCyxmyxC+),(),(),(,×=Blue其中ms和mb分别是面反射和体反射的权重函数,ms+mb=1.皮肤高光分析的主要目的就是要在彩色图像中找出皮肤高光区域,并从光谱中分离出面反射成分Cs和体反射成分Cb,这不仅可以消除因强光照射所造成的人脸肤色失真,也可以估算入射光的主要光谱成分.Fig.3Dichromaticreflectionmodelofhumanskin图3人体皮肤双色反射模型1.2彩色空间的选择为选择一个恰当的彩色空间进行高光分析,我们考察了高光皮肤图像在多种彩色空间中的分布情况.表1表示在几种常用的彩色空间中,含有高光的人脸肤色在某二维平面所占面积(深色)与所有可能色彩所占面积(浅色)的比例,一般是比例越小越有利于同其他物体的色彩分离.其中在HV和TL平面中,肤色所占的面积比例最小,而在La*b*中总体比例最小,但是结合彩色空间中的分布形态和亮度动态,对本肤色训练场地是TL平面最有利于高光分析.因此,在这些不同彩色空间中,根据含有高光的肤色像素所占整个彩色空间的面积、分布的形态、亮度的动态范围大小以及前人相关研究工作[8],我们最后选择了TSL和RGB彩色空间进行皮肤的高光分析.图2显示了人工采样的十几幅强侧光人脸皮肤训练场地在RGB和TSL[8]彩色空间的分布.陈锻生等:彩色图像人脸高光区域的自动检测与校正方法1903Table1Areapercentageofskincolortrainingfieldinsomecolorspace表1几种彩色空间中肤色训练场地所占面积比例3DcolorspaceAreapercentageofskincolorin2DcolorplaneRGBRG14.96RB15.21GB16.68TSLTS7.91TL8.62SL21.74HSVHS8.52HV7.55SV30.08La*b*La*9.01Lb*11.12a*b*4.96Note:Grayshadowed2Dcolorplanesarerelatedtobrightness注:与亮度有关的2维彩色平面用灰底表示如果忽略成像传输过程对辐射量的影响,可用亮度分量L最大值所在(T,S,L)值对应的面反射光谱成分Cs估计皮肤受到的主要入射光谱成分,并依此作为照明光线优势波长的估计,从而为在彩色数码成像时自动获取白平衡参数提供一种有效途径.1.3技术方案根据上述皮肤反射波谱特性和带有高光区域的皮肤图像在彩色空间中的分布形态特征,我们采用双色反射模型有效地描述了皮肤的反射特性.为了进行可比实验,我们利用普渡大学网上的彩色人脸数据库ARDatabase,手工选择人脸皮肤样本建立训练场地,并在此基础上建立皮肤的彩色直方图统计模型.利用人脸肤色模型和连通区域形状特征筛选出候选区域,然后在所选的彩色空间中作肤色集群和主分量分析