图像质量评价的研究现状及其展望

图像质量评价的研究现状及其展望[摘要]符合人眼视觉系统特性的图像质量评价方法,不仅可以更好地评价图像处理算法的优劣,而且能够指导图像处理的思路和方法。近年来,图像质量评价的研究发展迅速。本文重点阐述模拟人眼视觉系统的两类客观评价方法,并介绍以这两类方法为基本框架的各种改进方法。然后针对图像融合、复原、压缩三个主要的处理领域的质量评价的特殊性进行分析。总结认为该领域的发展方向是对视觉感知生理心理学及HVS模型进一步研究,建立计算更简便、评价更准确的通用评价方法,并发展无参考的质量评价方法。[关键词]图像质量评价HVSCSFSSIM1引言图像质量评价一直是图像处理领域研究的基础和重点。图像质量评价方法包括:主观评价(MOS:MeanOpinionScore)方法和客观评价方法。因为人眼是图像处理系统的终端,所以主观评价方法是最合理的图像质量评价方法。但是该方法需要组织观察者对失真图像进行评分,难以用数学模型表达加以应用[1]。所以MOS方法一般用来验证客观评价方法的有效性。目前应用最广泛的客观质量评价方法包括:均方差(MeanSquaredError,MSE)、峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)方法。试验证明MSE/PSNR对于单纯的噪声图像质量评价比较准确,但是对失真降质图像的评价是不可靠的,所以需要研究符合人眼视觉的评价方法。自从60年代大量的视觉感知生理心理学试验[2]得到了人类视觉系统(HumanVisualSystem,HVS)模型,图像质量评价的研究得到迅速发展。不但建立了各种模拟人眼视觉系统特性的数学模型,而且在此基础上提出了各种适用于特定图像处理领域的评价方法。但是,至今没有形成一些公认的、通用的评价方法,以至于目前图像各研究领域仍然停留在利用MSE/PSNR评价算法优劣的阶段。本文讨论模拟人眼视觉系统特性的图像质量评价方法,分析各种方法的思路及应用特点,总结其发展脉络及研究趋势。2模拟人眼视觉系统的客观评价方法过去的几十年中,研究者们致力于寻找符合HVS特性的图像质量评价数学模型。其中研究最多也比较成熟的主要包括两种,一是自底向上模拟HVS低阶组成结构的模型,二是自顶向下模拟HVS整体功能的模型。前者对应基于HVS感知误差测量的方法,后者对应基于结构相似度(StructureSimilarity,SSIM)理论的方法。基于HVS的图像质量评价利用已知的HVS特性,通过测量感知误差来评价质量,但由于目前对HVS认知有限,该方法需要基于多个假设前提,另外使用简单模拟的模型来预测自然界的复杂图像也存在诸多问题[3]。基于SSIM的图像质量评价,评价值由待评图像和原始图像之间的亮度比较、对比度比较和结构相似性比较三部分构成,简单直观,在某种程度上绕开了自然图像内容的复杂性及多通道去相关问题,没有从神经和生理学的角度通过整合误差来评估图像质量,而是直接比较两幅图像的结构差别[4]。2.1基于HVS感知误差测量的评价方法人们建立了很多种HVS模型,模拟了视觉感知的显著特性,包括对比度敏感度、视觉非线性特性(Weber定律)、掩盖效应及视觉多通道,这些特性都与图像质量评价相关[5]。1)对比度敏感度CSF(ContrastSensitivityFunction),亦称为人眼视觉系统空间调制转移函数(ModulateTransformFunction)。不同的实验所得的CSF函数形式各异,但基本上都认为HVS的CSF是空间频率的函数,且具有带通性质,为各向异性。常用的CSF表达式为[3]:其中,空间频率(周期/度),分别为水平、垂直方向的空间频率。其响应曲线如图1所示,可以看出对比敏感度在中频区域表现较为敏感,在低频和高频区,敏感度有所下降。这使得人眼在观看图像时产生一种边缘增强的感觉,即侧抑制效应。2)视觉非线性,表示人眼对亮度光强变化的响应是非线性的,人眼视觉系统对刺激信号的反映不是取决于信号的绝对亮度,而是取决于信号相对于背景亮度(信号的平均亮度)的刺激程度。由WeberFechner法则可知:视觉上主观亮度与光刺激强度的对数成比例。3)掩盖效应[6]反映了激励之间的相互作用,即一个原本可见的激励由于另一个激励的存在而变得不容易被察觉。在质量评价中,常把原始图像作为背景,考虑噪声被背景掩盖的程度,可使评价结果更有效。4)视觉多通道,将图像分解为一组有方向性的带通滤波器,每个滤波器只对其中心频率附近区域内的空间频率和方向做出响应。对人眼视皮层细胞的感受试验图表明,视皮层细胞对信号刺激具有线性性、位移不变性、频率响应的一致性和多尺度性[7]。视皮层细胞对刺激还表现出方向性,对水平方向(0o)和竖直方向(90o)的刺激最敏感,对对角方向(45o和135o)最不敏感。视皮层细胞对刺激信号的反应所表现出的这一结构恰好与小波变换匹配。基于HVS感知误差测量的图像质量客观评价方法,就是基于上述HVS特性,分别对待评价图像和参考图像提取可比较信息,并对每种比较信息加入一定的权值[8],从而构造数学模型来测量两者之间的感知误差。2.2基于SSIM的方法WangZhou和Bovik等人在2002年首次提出了结构信息的概念。作者认为人眼视觉的主要功能是提取背景中的结构信息,而不是图像像素点间的误差,因此对图像的结构失真的度量应是图像感知质量的最好近似。在此基础上给出了一种符合人眼视觉系统特性的图像质量客观评价标准:结构相似度SSIM,其表达式如下式(2)。(2)式中,表示亮度比较函数;表示对比度比较函数;表示结构相似性比较函数。其中,、、、、分别表示图像X、Y的均值、方差、协方差。C1、C2、C3=C2/2为小的常量,以避免式(2)中分母为零而出现的不稳定。在评价图像质量时,用一定大小的窗口沿图像(参考图像、待测图像)逐像素地从左上角到右下角移动,每次计算窗口对应子图像的SSIM值。对所有M个子图像的SSIM值求平均,可得到整幅图像的质量值,即平均结构相似度MSSIM:(3)SSIM的计算方法简单,表达直观,并且性能优越,所以逐渐成为研究热点。但是该方法对失真模糊图像的评价效果不理想,因为失真图像与真实图像的结构之间差别不大,只是纹理边缘发生了扩散模糊,所以基于SSIM又发展了若干改进方法。这些方法主要分为两大类:(1)提取图像频率或梯度信息的改进方法;(2)基于图像分块加权的改进方法。(1)提取图像频率或梯度信息的改进方法文献[9]将结构信息重新解释为图像中能量足够大的中高频成分,从新的角度将SSIM理解为一种更好的局部误差度量方式。提出一种基于结构信息提取(SIExt)的图像质量评价方法,将图像中的结构信息分离出来给予较大的权重,并用SSIM作为误差度量估计局部失真,从而改善SSIM在交叉失真类型和失真严重时的评价准确性。基于类似的思想,文献[10]提出基于梯度的结构相似度和基于边缘的结构相似度的图像评价方法。(2)基于图像分块加权的改进方法文献[11]分析数字图像中亮度、纹理细节、空间位置等因素对人眼视觉特性的影响,建立了数学模型,将人眼视觉特性与图像的结构相似度结合起来,提出一种符合人眼视觉特性的评价方法。该方法将图像划分成大小相等的分块,计算出各分块的亮度影响因子、纹理细节影响因子和空间位置影响因子,经过归一化处理得到每个分块的权值,用加权平均的结构相似度作为图像质量的评价指标。3三类图像处理技术的质量评价特点上节介绍的两种典型图像质量评价方法,在应用到不同的处理领域时,常常根据特殊需要进行修改,以得到合理的评价结果。这里针对图像压缩、图像复原、图像融合三个领域图像质量评价特点,分析相应的评价方法。3.1图像复原图像复原是对降质图像进行去模糊处理,图像的模糊主要包括噪声和失真。对于单纯的噪声模糊图像,使用传统的PSNR/MSE评价方法就非常理想,因为其物理意义就是比较两幅图像之间的像素点的差异。但对于失真的降质图像,因为图像的纹理及边缘发生了扭曲或加粗等变化,而人眼视觉对这部分中高频信息特别敏感,所以与噪声图像MSE评分一致的失真图像,其视觉效果要差得多。为了评价该类图像质量,最好的方法是分别提取失真图像与参考图像(原始无模糊图像)的中高频信息进行比较,即利用2.2节中基于SSIM的改进方法进行评价。但是,很多复原处理的情况不存在一个清晰的参考图像,针对复原图像的无参考评价研究不多。文献[12]尝试提出了一种基于边缘检测的模糊图像无参考评价模型,通过测量梯度图像的梯度边缘信息,来评价模糊退化图像和带有模糊效应的复原图像。该类方法尚待进一步完善发展。3.2图像压缩图像压缩算法发展至今,已经从以往的单纯注重码率转为现在的码率和图像质量两方面的注重。影响压缩图像质量的失真因素(或称作误差)包括:块化效应,结构关联噪声,伪轮廓,振铃效应,边缘模糊,颗粒噪声,平坦区随机噪声等。基于HVS模型本身的复杂性,往往探讨某一种类型的失真测量。例如针对块化效应的失真测度,这种损伤常见于失量量化和DCT编码中。先对人工合成的测试图像进行了主观试验,通过调整4个参数:边缘幅度、边缘长度、背景亮度和背景活动性,测出边缘损伤的视觉灵敏度,并建立视觉模型[13]。在对实际自然图像的检测,文献[14]提出了基于误差分割的评价方法。基本思想是将误差根据视觉感知差异分为3类:表示边缘的误差、表示奇异性的误差以及除此之外的剩余误差。分割依据原始和恢复图像中的局部活动性来进行。其流程为:原始和恢复图像分别经过伽码变换和视觉预处理,相减得出误差信号,然后对此误差信号进行分类,分别对不同种类的误差进行视觉掩盖效应等处理,得出3类误差的各自总和。3.3图像融合图像融合指多源通道所采集的关于同一目标或场景的图像,经过一定的处理,提取每个通道的互补信息,综合成信息更丰富描述更准确、全面、可靠的图像。这时,评价图像融合效果的一个重要指标是看融合图像从源图像中获得了多少信息。另外,图像融合中许多情况是无法得到标准参考图像的,所以,往往根据源图像与融合图像的信息关系进行评价。所以,信息熵、标准差、交叉熵、互信息等成为融合图像质量的评价指标。将这些指标与人眼视觉特性结合,即可得到合理的评价方法。文献[15]改进了MSSIM的评价方法。对于某一窗口,两幅源图中与融合图像更加相似的一幅被赋予较大的权重,这样就降低了不相似图像窗口的影响。4结论与展望先进的图像质量客观评价研究都围绕着模拟人眼视觉系统特性进行,但是,最新的试验如JND以及游标试验表明人们对自己视觉感知的认识还很贫乏。所以人眼视觉系统特性的有待进一步研究以推动客观评价的发展。虽然,研究者们在建立典型的评价模型基础上,结合不同图像处理领域的特殊评价要求,发展了各种有效的改进方法。但是至今没有公认、通用、简单、有效的评价模型,这需要研究者们进行大量的实验验证工作。另外,无参考的质量评价亟待研究,该方面的工作更侧重于研究特定图像处理领域的知识。参考文献:[1]SakrisonD.Ontheroleoftheobserverandadistortionmeasureimagetransmission[J].IEEETransactionsonCommunication,1977,25(11):1251-1267.[2]LewisNW.SubjectivequalityoftelevisionpictureswithmultipleimpairmentsElectronicLetters[J].1965.[3]MannosJL,SakrisonDH.Theeffectsofavisualfidelitycriterionontheencodingofimages[J].IEEETransactionsonInformationTheory,1974,20(4):525-536.[4]WangZ,BovikaC,LuL.Whyisimagequalityassessmentsodifficult[A].IEEEInternationalConferenceAcoustics,speech,a