图像质量评价的研究进展和若干问题的解决途径

47,041002(2010)©2010中国激光杂志社041002-1doi:10.3788/lop47.041002图像质量评价的研究进展和若干问题的解决途径赵文哲秦世引(北京航空航天大学自动化科学与电气工程学院，北京100191)摘要针对当前图像质量评价的研究现状，对各种评价方法进行了比较分析和归纳总结。利用U-TexasatAustin的LIVE图片库中的样本对几种常用的客观评价方法进行了测试，利用该数据库中得到广泛认可的主观评价分数，能够衡量客观评价指标与主观评价的符合程度，从而对这些评价指标的单调性、准确性和一致性进行了辨析和阐释，指出了其适用性和局限性。并利用VQEG推荐的方法对论断给出了实例印证。进而根据发展趋势和应用需求，对图像质量评价方法在应用中所必须面对的一些问题和解决途径提出了初步的见解。关键词图像处理；图像质量评价；视觉感受；人类视觉系统；结构相似度；峰值信噪比；全参考评价；无参考评价中图分类号TP751.1OCIS100.2960100.2980文献标识码AImageQualityAssessmentandSomeSolvingApproachestoCurrentIssuesZhaoWenzheQinShiyin(SchoolofAutomationScienceandElectricalEngineering,BeihangUniversity,Beijing100191,China)AbstractAccordingtothecurrentdevelopmenttrendsintheimagequalityassessment,aseriesofassessmentmethodologiesandtheircorrespondingmeasureswerecomparativelyanalyzedindepth.SeveralconventionalmeasuresofperformanceindicesaretestedwithsamplesfromtheimagedatabaseofLIVEinU-TexasatAustin,basedonwhichthemonotonicity,veracity,andconsistencyofvariousindexmeasuresarediscussed,expoundedandcommentedbyusingthesubjectivescoresinthedatabase,soastoindicatetheirapplicabilityandlimitations.ThustheVQEGstandardisemployedtovalidatethecorrectnessoftheaboveresults.Moreover,someimportantissuesinengineeringapplicationsandpossiblesolvingapproachesareproposedbasedonthecurrentdevelopmenttrendsandrequirementsofpracticalapplications.Keywordsimageprocessing;imagequalityassessment;visualperception;humanvisualsystem;structuralsimilarity;peaksignaltonoiseratio;full-reference;no-reference1引言图像质量评价研究是图像处理研究领域中至关重要的一个环节，在图像处理的各个方面，比如图像压缩、图像传输，以及图像去模糊等各种处理算法中，图像质量评价都起到了非常重要的作用[1,2]。总的来说，图像质量评价的主要应用有以下3个方面[3,4]：1)监控图像或视频获取系统，并自动调节，使其可以获取到最佳图片；2)作为图像系统的一种基准指标；3)作为一个反馈量来调节算法中的参数，使算法得以优化，从而获得最优性能。总之，质量评价在图像处理的各个领域都有着非常广泛的应用[5~7]，对图像质量收稿日期：2009-05-27;收到修改稿日期：2009-10-29基金项目：国家863计划(2006AA04Z207)，国际科技合作项目(2007DFA11530)，国家自然科学基金项目(60875072)和教育部博士点基金(20060006018)资助课题。作者简介：赵文哲(1979—)，女，博士研究生，主要从事图像处理与视频跟踪等方面的研究。E-mail:[e-mail]导师简介：秦世引(1955—)，男，教授，博士生导师，主要从事图像处理与模式识别、大规模复杂系统、多机器人混杂系统等方面的研究。E-mail:[e-mail](通信联系人)47,041002(2010)评价的研究具有非常重要的实际意义。图像质量评价方法按评价的主体来划分，可以分为主观评价方法和客观评价方法两大类[8]。主观评价方法能够反映观察者对图像的感受，但是主观评价方法自身的问题制约了其应用。最初的客观评价方式是针对处理后的图像相对于标准图像其像素值的变化来衡量图像质量的，但是在研究中发现，处理后的图像与标准图像之间的像素差异有时并不能反映出人类的视觉感受，甚至所得到的结果与人类视觉感受相反。进而人们开始研究面向人类视觉特性的一些评价方法[9]，比如结构容量方法(SC)，结构相似度方法(SSIM)[10]等。所有的客观评价方法都分为无参考评价方法[11]和有参考评价方法[12]两种。其分类的原则即看计算过程是否需要标准图像作参考。目前有参考评价的方法和指标最多，应用也最为广泛。在众多客观评价指标下，对于该如何去评判某一个质量评价指标的应用效果，视频质量专家组(VQEG)给出了指导性原则[13]，这些原则可以从一定程度上衡量评价指标的应用效果。本文从目前图像质量评价的各种常用指标入手，针对质量评价的瓶颈以及挑战性问题进行分析和比较，发现其中的规律，指出当前图像质量评价研究所面临的机遇和挑战性问题，使用VQEG提出的若干原则来验证本文的分析结果。2常规图像质量评价方法常规的主观评价方法主要依靠人眼主观视觉效果来判断，常用的方法有均值意见评分法(MOS)和国际标准CCIR500[14]。在MOS标准下，为所有的评价者提供相同的图像观察条件，评价者根据自己的感受进行评分，最终根据多个评价结果得到该图像最终的MOS值NMOS。为了使主观评价的分数具有无偏性，常采用某种数据处理方法对得到的结果进行简单处理。比如主观评分的无偏差均值意见评分(DMOS)法是让评价者对同一场景的一组图像(该组图像中含有一张标准图像)进行评判，得到每张图像的NMOS，并以标准图像的NMOS作为标准，用其他图像的NMOS与标准图像的NMOS进行相减，同时将得到的所有差值归一化到0~100之间，最终得到图像的DMOS值NDMOS。标准图像的NDMOS为0，其他图像与标准图像偏差越大，其NDMOS越大，图像质量也越差。主观评价方法的评价结果通常能够较好地反映图像的实际质量，但主观评价方法在实施过程中存在很多问题。比如评价过程消耗的时间长，主观分数受到观察者自身素质、情绪以及测试环境的影响而不稳定，评价所花费的费用较高、不易实现，处理过程不能实现自动化等。目前图像质量主观评价结果主要用来衡量各种客观评价指标与人类主观视觉的符合程度。比如U-TexasatAustin的LIVE图片库就是为这一目的而设计的，它的每张图片样本都采用标准主观评价方法获得其主观评价分数并将该分数标准化，从而得到每张图片所对应的NDMOS。该数据库被广泛应用于图像质量评价的研究工作中。客观的图像质量评价方法可分为无参考评价方法和有参考评价方法两类。有参考图像质量评价即计算过程需要观测图像与标准图像做对比，从而得出观测图像与标准图像之间的差异，该差异越大，说明观测图像的降质程度越大，图像质量也越差。但在实际应用中，往往找不到标准图像，比如一些在运动中拍摄的图像，往往带有各种噪声和运动模糊，在评价这些图像的质量时，不存在与之做对比的标准图像，因此在这种情况下需要开发无参考图像质量评价指标去衡量其图像质量。目前的常规客观评价方法已有数十种之多[15~17]。这些方法中大部分都是着眼于处理后的图像与标准图像之间的像素值的变化，对于图像在经过处理后出现的降质，最直接的衡量方法是计算其像素值与标准图像之间的差异，这种思想在有参考图像质量评价方法中得到了较广泛的应用。比如，目前为止应用最广泛的指标是峰值信噪比(PSNR)和均方误差(MSE)，即计算两幅图像之间的像素差异。在无参考的图像质量评价方法中，评价的过程仅依赖观测图像，在这种情况下考核图像质量的难度要远远超过有参考的评价方法。目前，无参考评价方法的47,041002(2010)评价指标比较少，且已有指标往往只是针对某一特定的应用背景，不具有通用性。随着对各种指标研究的深入，发现在某些情况下上述指标的计算结果与人类视觉感受不符，甚至与人类视觉感受之间出现相反的结论，于是开始寻求各种办法[18~21]来解决这样的问题。结合人类视觉系统(HVS)的客观评价方法是将人类视觉特性与图像质量评价相结合[22,23]，但由于目前还未对人类视觉机制本身有清晰的认识，因此也限制了HVS模型的准确度。结构相似度(SSIM)是融入了人类视觉感受因素的客观图像质量评价指标之一，是针对人类视觉对图片的结构信息比较敏感的前提下提出的[24]，因此关注图像的结构失真度。SSIM模型在一定程度上能够反映出人类的视觉感受[25]。3实验与结果分析3.1实验方法、数据及结果为了分析目前客观的图像质量评价的效果，选择了几个典型指标进行计算，并对结果进行对比分析。选用的计算指标是：峰值信噪比，均方误差，结构相似度，信噪比(SNR)，拉普拉斯和(LS)，灰度差和(GDS)，其中前3个指标是全参考评价方法，后3种指标是无参考评价方法。均方误差是统计观测图像与标准图像像素差，可表示为2MSE111ˆ(,)(,)==⎡⎤=−⎣⎦∑∑MNijNfijfijMN,(1)式中f(i,j),ˆf(i,j)分别为原图及其被污染之后的像素值。峰值信噪比的计算公式为2PSNRMSE25510lg=NN,(2)结构相似度的计算公式为[]SSIM(,)(,),(,),(,)=Nxyflxycxysxy,(3)式中(,),(,),(,)lxycxysxy分别为亮度变化量、对比度变化量和结构变化量。NMSE，NPSNR，NSSIM的计算过程需要标准图像作为比对，因此这3个指标是有参考图像质量评价指标。为了评价无参考图像质量评价指标的性能，对3个无参考评价指标进行了实验。这3个指标计算过程中不需要标准图像信息，仅仅观测图像就能够计算出图像质量的结果，其中ˆSNR10lgσσ⎛⎞=⎜⎟⎜⎟⎝⎠ffN,(4)式中σf，ˆσf分别为原始图和被污染图的方差。在不存在标准图像的情况下，可以对NSNR进行估值，这是一种无参考的质量评价方法。本文采用无参考的估值信噪比计算方法[26]来计算NSNR，使用图像局部方差的最大值和最小值之比作为图像信噪比的估计，并利用经验公式对其进行修正。图像局部方差的计算公式为221(,)(,)(,)(21)(21)σµ=−=−⎡⎤=++−⎣⎦++∑∑QPyLykPlQijyikjlijPQ,(5)式中µy为局部均值，P，Q分别代表图像的宽和高。拉普拉斯和的值NLS[27]的计算过程是对每一个像素在33×的邻域内采用拉普拉斯算子得到8邻域微分47,041002(2010)值，然后在图像范围内求和。一般图像越清晰，轮廓越鲜明，则每一像素附近的灰度值变化越大，NLS就越大。LS是无参考图像质量评价指标之一。GDS[28]也是衡量图片