图像质量评价方法研究进展

第32卷第1期电子与信息学报Vol.32No.12010年1月JournalofElectronics&InformationTechnologyJan.2010图像质量评价方法研究进展蒋刚毅①②黄大江①王旭①郁梅①②①(宁波大学信息科学与工程学院宁波315211)②(计算机软件新技术国家重点实验室(南京大学)南京210093)摘要：图像质量评价是图像处理领域的研究热点。该文综合论述了图像质量的主观和客观评价方法，重点阐述了单视点图像质量的客观评价方法。对目前比较常用的峰值信噪比和均方误差全参考评价算法进行了分析并指出其存在的问题。然后，对基于误差敏感度和基于结构相似度的评价算法进行了论述和分析，并对质降和无参考评价方法进行了综述。根据视点的个数，图像质量评价可分为对传统单视点图像和立体图像的评价。该文还对立体图像质量评价算法进行了分析讨论。昀后，就图像质量评价算法的进一步发展提出了若干技术与研究方向的展望。关键词：图像质量评价；人类视觉系统；结构相似度；立体图像质量评价中图分类号：TN911.73文献标识码：A文章编号：1009-5896(2010)01-0219-08DOI:10.3724/SP.J.1146.2009.00091OverviewonImageQualityAssessmentMethodsJiangGang-yi①②HuangDa-jiang①WangXu①YuMei①②①(FacultyofInformationScienceandEngineering,NingboUniversity,Ningbo315211,China)②(StateKeyLaboratoryforNovelSoftwareTechnology,NanjingUniversity,Nanjing210093,China)Abstract:ImageQualityAssessment(IQA)isahotresearchareainthefieldofimageprocessing.Inthispaper,objectiveandsubjectiveIQAmethodsarereviewed,andmoreattentionispaidtotheformer.PSNRandMSE,whicharecommonlyusedtoassessthequality,areanalyzedindetailandtheirdefectsaregiven.ThemodelsbasedonerrorsensitivityandstructuredistortionofimagesaretwocriticalmethodsinIQA,andthesurveypresentstheirkeytechniquesandchallengeproblems.Thereducedreferenceandnoreferencemethodsarealsopresentedinthissurvey.Basedonthenumberofview,IQAareclassifiedintotwomajorcategories,namely,monoscopicimageIQAandstereoscopicimageIQA.ThissurveyalsomakesanintroductionofthestereoscopicimageIQA.Finally,thesurveylistsseveralperspectivesub-fieldsandtopicsinIQAprogress.Keywords:Imagequalityassessment;HumanVisualSystem(HVS);Structuralsimilarity;3Dimagequalityassessment1引言图像质量是比较各种图像处理算法性能优劣以及优化系统参数的重要指标，因此在图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有重要的意义。近些年来，随着图像处理技术的发展，该领域的研究已吸引了研究人员的广泛关注，国内外已有许多科研机构和商业公司投身其中[1]，如美国泰克公司研制的图像质量分析仪已经被广泛地应用。另外，像IBM，韩国SK电信集团等就图像视频质量评价问题也展开了深入研究[2]。同时，图像质量评价算法层出不穷，典型的模型有基于人类视觉系统(HumanVisionSystem,HVS)的图2009-01-19收到，2009-11-05改回国家自然科学基金(60872094,60832003)，教育部新世纪优秀人才计划(Nect-06-0537)和教育部博士点基金(200816460003)资助课题通信作者：蒋刚毅[e-mail]像质量评价模型[3,4]，基于结构相似度(StructuralSimilarityImageMeasurement,SSIM)的评价模型[5]等。昀近JVT(JointVideoTeam)已将SSIM算法作为图像质量评价指标引入到视频编码标准H.264的校验模型中。国内也已经有许多机构从事该领域的研究，并取得了相关成果。但总体来讲，还有许多未知问题有待探究。图像质量评价从方法上可分为主观评价方法和客观评价方法，前者凭借实验人员的主观感知来评价对象的质量；后者依据模型给出的量化指标，模拟人类视觉系统感知机制衡量图像质量。主观质量评价是凭感知者主观感受来评价被测试图像的质量，通常采用连续双激励质量度量法，即对观测者连续给出原始图像和处理过的失真图像，由观测者根据主观感知给出打分值。ITU-T已发布了相关标准BT-510，对主观质量评价过程中的测试图像、人220电子与信息学报第32卷员、观测距离以及实验环境等做了详细规定[6]。目前，有学者就主观质量评价体系的组成环节进行改进研究[7,8]。Richardson通过在主观评价过程中引入测试者反馈信息加快主观质量评价过程[9]。主观质量评价方法需针对多个测试图像进行多次重复实验，耗时多、费用高，难以操作。相对于主观质量评价，客观质量评价具有操作简单、成本低、易于解析和嵌入实现等优点，已经成为图像质量评价的研究重点；实际图像应用中也注重主观评价方法与客观评价方法的结合，即利用主观评价结果对客观质量评价模型中的参数进行校正。本文主要讨论客观评价方法，重点对单视点图像质量评价过程中用到的多种方法进行了总结和评论，并对近年来新出现的立体图像质量评价算法进行了论述。昀后对该领域的发展进行了展望。2单视点图像质量评价方法单视点的客观图像质量评价方法通过建立数学模型，进行相关后得到量化指标或参数来衡量图像质量。根据是否具备原始参考图像，它可以分成全参考、质降参考和无参考3类方法。其中全参考图像质量评价方法研究时间昀长、发展较为成熟。2.1全参考图像质量评价方法全参考图像质量评价方法需要参考原始图像，经过几十年的发展，已形成较完整的理论体系和成熟的评价框架。待评价图像信号的质量可以通过与原始图像信号相比之后获得的误差信号来进行质量分析。图像质量的下降与误差信号的强弱相关。基于此，昀简单的质量评价算法就是均方差(MeanSquaredError,MSE)和峰值信噪比(PeakSignal-NoiseRatio,PSNR)。MSE和PSNR计算复杂度小，易于实现，已在图像处理领域中广泛应用。但它们给出的数值，与图像的感知质量之间没有必然联系，存在明显不足[10]。由此，人们基于HVS，提出了相关图像质量评价方法[3,4]。根据对HVS模型描述的侧重点不同，这里将图像质量评价模型归结为基于误差灵敏度评价算法和基于结构相似度评价算法两类。(1)基于误差灵敏度的图像质量评价HVS模型的主要特性包括视觉非线性、多通道、对比敏感度带通、掩盖效应、多通道间不同激励的相互作用以及视觉心理特征。其中非线性、多通道、对比敏感度带通和掩盖效应特性研究较多，已有相应的计算模型。而多通道间不同激励的相互作用和视觉心理特征还无法根据生理特性得到精确的计算模型。Ismail采用Kohonen自组织映射方法以直观的形式表现出各种特征之间的相似或者互补关系，可用于设计新的评价算法时参考[11]。汪孔桥等结合人眼感兴趣区域理论对峰值信噪比进行修正，根据感兴趣区域的划分，赋予对应的加权值来进行图像评价[12]，其思路在一定程度得到认同。Makoto等将图像失真类型归结为亮度差异、空间频率失真、结构上的干扰和随机误差，通过设计特征来统计各类失真的程度，再用主分量分析对特征进行选择，并通过样本集的训练以获得各特征的权重[13]。王楠楠将图像结构分为噪声层、纹理层和目标层，每层采用MSE和PSNR准则，并结合人眼视觉感知进行加权，确定图像质量[14]。上述算法均在PSNR等传统评价算法的基础上，利用HVS特征对其进行加权校正，以提高评价算法的性能。但各特征因素的加权权重，往往由经验获得，缺乏有效视觉感知模型的支撑。如其中的感兴趣区域划分算法是否与HVS特性相吻合，仍需要考证。大部分算法在考虑特征的权重时，一般是确定目标函数，以使客观模型输出值与主观数据之间的相关性达到昀大的权重系数为昀优。这种方法仅能令客观模型在数值上与被训练主观数据集合尽可能一致，但并不具有一般性。基于误差灵敏度分析的质量评价算法可用图1来描述，各个算法不同之处在于侧重点和处理方式上区别。Tan建立了“感知模拟器”模拟人眼时域的平滑效应和掩蔽效应，分析了人眼的不对称评价方式，即相对图像质量从差到好变更，人眼更易于发现从好到差的图像质量变化[15]。韦学辉利用主观评价实验提取出感知亮度、频率以及边缘等3类信息，构造HVS对这些信息的响应函数，拟合成为相应的图像质量评价模型[16]；它从数据训练的角度出发，寻找各特征权重的昀优解，但模型性易受主观数据集合影响。Winkle对色彩变换后的通道应用质量评价矩阵，利用IIR滤波器对参考和测试图像进行滤波；并将其分解成5个子带和4个方向，各通道按CSF(ContrastSensitivityFunction)值进行加权[17]。马苗提出通过小波域系数之间的灰色关联度进行图像质量评价[18]。这些算法主要对HVS的底层特征进行数学建模，来仿真HVS特性以进行客观图像质量评价。HVS是一个高度复杂和非线性的系统，当前图1基于HVS的图像质量评价框架第1期蒋刚毅等：图像质量评价方法研究进展221对其认知仍然有限。以上各方法都基于一定的假设前提，取得了一定的效果，但也存在一些问题：(a)基于HVS特征的方法一般认为原始图像质量是完美的，且Weber定律和点扩散函数(PointSpreadFunction,PSF)模型始终成立。(b)一般假定HVS的多通道响应可以通过线性离散集合来模拟。(c)一般假定通道分解是无损或无损于视觉的，变换后仍保持了质量评价的绝大部分信息。(d)一般认为通道分解剔除了图像间的关联，通道变换的作用可以通过掩蔽模型来模拟。(e)HVS的评价值可以通过测试误差的非线性组合来模拟，但目前大多采用线性加权组合。前3条假设从HVS的特点以及实际操作来说，相对比较合理。实验表明自然图像经过通道分解后，相同位置上的特征基本上相同或者相似；即各通道之间实际上存在较高的相关性，这与上述(d)点假设相矛盾。另外，以误差的统计量来表征图像质量方法，无论其如何加权组合，昀后仍可能存在两幅图像失真类型完全不一样、但误差相同的现象。故上述(e)点假设也是不合适的。(2)基于结构相似度的图像质量评价自然图像具有特定的结构，像素间有很强的从属关系，这些从属关系反映了视觉场景中的结构信息[19]。由此，Wang等人提出了基于结构失真的图像质量评价方法，称为结构相似(SSIM)方法[20]，如图2所示。该方法认为光照对于物体结构是独立的，而光照改变主要来源于亮度和对比度；所以它将亮度和对比度从图像的结构信息中分离出来，并结合结构信息对图像质量进行评价。该类方法在某种程度上绕开了自然图像内容的复杂性及多通道去相关问题，直接评价图像信号的结构相似性