全参考图像质量评价综述

收稿日期!!#$%;%!9!修回日期!!#$%9%’::基金项目!国家自然科学基金青年学者基金资助项目(’;$#!南京理工大学自主科研专项基金资助项目!##_^U!(#作者简介!褚江#)’’%#$男$江苏连云港人$硕士研究生$主要研究方向为图像质量评价7EH+5/N3#$#2#($-784#!陈强#)9)%#$男$副教授$博士$主要研究方向为图像处理%分析与识别-全参考图像质量评价综述褚:江!陈:强!杨曦晨南京理工大学计算机科学与工程学院$南京!#)&#摘:要!图像质量评价是图像处理领域内一项很有意义的研究课题&客观图像质量评价方法可分为全参考评价方法%半参考评价方法和无参考评价方法$目前全参考评价方法较为成熟$而半参考和无参考评价方法则处于初级阶段$远远达不到参考评价方法所能达到的效果&对全参考评价方法进行综述&首先简要地介绍了各种类型的评价方法$其次详细地介绍了COWA%OOT@%@OOT@%T\B%?T\%\OT@等几种典型的全参考图像质量评价方法$然后在aT?]和IT^!’数据库上进行实验$对这几种全参考方法进行对比%分析$最后探讨图像质量评价研究的发展趋势&关键词!全参考图像质量评价!结构相似性!自然场景分析!特征相似性中图分类号!IC$)#:::文献标志码!K:::::文章编号!##%$();!#&##%#$%#L85!#-$)()M+-5**N-##%$();-!#&-#-$A0F50R8NQH6610Q010N7054/30kH/65,/**0**40N/63815E4*BDU5/N3!B]Wl5/N3!fKWXY5%7E0N3?**0*,-*./@#%+36%53%925465%%+654!;$5B654567%+86#’*,36%53%9%3?5*0*4’!;$5B654!#)&!-?65$$!#$%&’$%T4/30kH/65,/**0**40N5*8QQHNL/40N/654.81/N708NH4018H*54/30.1870**5N3/..657/58N*-ZS+075F054/30kH/65,40157*7/NS076/**5Q50L5N8E1007/038150*%QH6610Q010N70!*045%10Q010N70/NLN8%10Q010N70-BH110N6,!QH6610Q01%0N7040157*7/N/7E50F0*/5*Q50L.01Q814/N70!RE560*045%10Q010N70/NLN8%10Q010N7040157*/105NE051.106545N/1,*/30-IE5*./.013/F0/N8F01F50R8QE0QH6610Q010N7054/30kH/65,/**0**40N-\51*6,!55N18LH70LE0*040E8L*S150Q6,-O07%8NL6,!5L0*715S0L*0F01/654.81/NQH6610Q010N7054/30kH/65,/**0**40N/63815E4*5NL0/56!*H7E/*COWA!OOT@!@OOT@!T\B!?T\/NL\OT@-IE0N5784./10LE0.01Q814/N708QE0*040E8L*5NE0aT?]L//S/*0/NLIT^!’L//%S/*0-\5N/66,!E5*./.01*H44/15P0LE010NL*8QQHH1010*0/17E8N54/30kH/65,/**0**40N-()*+,%-#%QH6610Q010N7054/30kH/65,/**0**40N#*1H7H10*5456/15,#N/H1/6*70N0*/5*57*#Q0/H10*5456/15,9:引言数字图像在获取)处理)压缩)存储和传输过程中会经受各种类型的退化!这些退化会影响图像的视觉效果&一般来说!图像质量评价方法分为主观评价方法和客观评价方法’#(&图像质量评价的目的就是评价图像质量的好坏!最好也最直接的方法就是直接让观察者观看!这就是主观评价方法!但是这种方法不能应用于实时系统中!因此!图像质量评价的主要目标就是设计出客观的图像质量评价方法!使之与人的视觉感知保持一致&根据能够得到的参考图像原始图像$信息的多少!客观图像质量评价方法通常可以分为三类!分别为全参考图像质量评价)半参考图像质量评价和无参考图像质量评价’!(&全参考图像质量评价方法可以得到参考图像的所有信息!通过把失真图像和参考图像进行比较来评价图像质量!全参考评价方法是目前为止客观图像评价方法中最可靠的方法&无参考图像质量评价方法不能得到参考图像的任何信息!只对失真图像进行评价&半参考图像质量评价方法介于两者之间!只能获得参考图像的部分信息用于评价图像质量&本文主要讨论全参考评价方法&最简单的全参考评价方法为均方误差@O]$和峰值信噪比COWA$’$(!它们直接对参考图像和失真图像的像素灰度值进行计算!计算简单)意义明确!但是不能很好地与人的主观感受保持一致’&!;(&随着对人类视觉系统?O$认识的深入!人们开始利用人类视觉系统的某些特性进行评价’(!9(!出现了基于?O的模型!其中有代表性的两个模型是L/6,F5*5S60L5Q%Q010%N70*.10L5781和O/1N8QQF5*H/6L5*71545N/58N48L06’’(!它们主要是通过生理和心理学实验获得人类视觉系统的前端特征构建视觉模型!从而模拟人的视觉来对图像质量进行客观评价!典型的方法有Wl@’)(和?OWA’#(!但这些方法效果并没有得到满意的结果&V/N3等人’!!##(提出了结构相似性理论OOT@$!对参考图像的亮度)对比度和结构信息进行比较!得到了较好的结果&他假设?O擅长提取场景中的结构信息!通过评测失真图像的结构信息的退化程度对图像进行评价!得到了广泛使用&许多学者在OOT@的基础上进行了改进!如V/N3等人’#!(提出了多尺度结构相似性@OOT@$!得到了比单一尺度更好的结果#a5等人’#$(提出了$%OOT@!把OOT@中对整幅图像的亮度)对比度和结构的比较!改为在边缘)纹理和平滑第$#卷第#期!#&年#月:计算机应用研究K..657/58NA0*0/17E8QB84.H01*?86J$#W8J#U/NJ!#&::区域分别计算并赋予不同的权重!得到最终的评测结果#BE0N等人’#&(提出了基于梯度的结构相似性XOOT@$!把OOT@中对对比度和结构的比较改为对参考图像和失真图像的梯度图像进行计算&其他的对OOT@的改进有%朱里等人’#;(提出的基于结构相似性的图像质量评价方法#王涛等人’#((提出的基于内容的图像质量评价测度#黄小乔等人’#9(提出的基于色差的均方误差与峰值信噪比评价彩色图像质量评价方法#任雪等人’#’(提出的基于局部特征的图像质量评价方法#V/N等人’#)(提出的基于感兴趣区域的方法#K+/%\01N/NL0P等人’!(提出的基于局部对比度的质量评价方法#孔繁锵’!#(提出的一种把?O和相似性度量结合起来的图像质量评价测度#叶盛楠等人’!!(提出的基于结构信息提取的图像评价方法&OE05=E等人提出了自然场景分析WOO$的方法T\B’!$(和?T\’!&(!它们通过评测参考图像和失真图像的共同信息的多少来评价失真图像的质量!得到了较好的结果&a5H等人’!;(把相位一致性CB$用于图像质量评价!相位一致性的定义可以参考文献’!((&相位一致性信息的最大特点就是它不依赖于图像的亮度和对比度!能够较好地表征图像的结构信息!但实验结果并不太好!因为亮度和对比度对图像的质量的影响有时并不能忽略&_E/N3等人’!9(利用相位一致性信息的特性!提出了特征相似性方法\OT@$!选取了相位一致性信息和梯度信息作为它的两个特征!得到了较好的结果&在实际应用中!往往不能获得完美的原始图像!如在多媒体通信中!接收端很难获得原始图像的全部信息!也就大大限制了全参考图像质量评价方法的应用&因此学者们提出了半参考图像质量评价模型!即利用原始图像的部分特征信息来评价失真图像质量的一种方法&典型的半参考图像质量评价方法有基于多尺度的方法!如X/8等人’!’(提出的基于多尺度几何分析的方法!aH)孙玉宝等人’!)!$(提出的基于B8N8H160的方法!a5等人’$#(提出的基于小波结构的方法#基于降质统计模型的方法’$!!$$(#基于谐波强度的方法’$&(#基于小波域自然图像统计模型的方法’$;!$((#基于特征嵌入的方法’$9!$’(&在很多应用中!无法得到参考图像的任何信息!这就需要无参考图像质量评价方法&无参考评价方法已成为近几年的研究热点!因为它们更加实用&大多数的无参考评价方法主要针对某一特定类型的失真来评价!如针对图像模糊的方法’$)!&()针对UC]X和UC]X!的方法’&#b&;(&不依赖失真类型的方法大多是对^BI系数的统计特征进行建模’&(b&’(或者是先对参考图像的统计特征进行训练!然后再进行评价’&)b;$(!!:方法介绍!J!:传统的方法对于Qr;的图像!均方误差@O]$)峰值信噪比COWA$和归一化最小平方误差WaO]$的定义如下%@O]d(Q.d#(;5d#’R.!5$q:.!5$(!Qr;#$WaO]d(Q.d#(;5d#’R.!5$q:.!5$((Q.d#(;5d#’R.!5$(!槡!!$COWAd#683#(!@O]$$$其中%R.!5$为参考图像在坐标为.!5$处的灰度值#:.!5$为失真图像在.!5$处的灰度值#(为峰值信号!对于’位的灰度图像来说!(d!’q#d!;;&@O]和COWA的优点是计算简单!缺点是它们单纯地计算图像之间灰度值的差异!并没有考虑像素之间的结构关系&它们将图像的所有像素点对人眼提供的信息都等同对待!而事实上人眼在观察图像的时候是有感兴趣区域的!它们的计算结果不能与图像的视觉效果保持一致&!J:基于结构相似度的方法3MDM3:OOT@V/N3等人认为结构信息反映了场景中的结构特征!同时亮度和对比度对图像的质量以及人类观察图像时提取感兴趣的区域起到很大的作用&那么它们的亮度)对比度和结构相似度分别定义如下%假设1)’分别为参考图像和失真图像!则01!’$d!#1#’n-##!1n#!’n-#&$31!’$d!$1$’n-!$!1n$!’n-!;$81!’$d$1’n-$$1$’n-$($其中%#1)#’分别为图像1)’的均值!反映了其亮度信息#$1和$’分别为图像1)’的方差!反映了其对比度信息#$1’为1)’的相关系数!反映了结构信息的相似度#-#)-!)-$为接近于零的正常数!防止分母为零时导致结果异常&综合这三种信息得到1和’的结构相似性为OOT@1!’$d’01!’$(%*’31!’$(&*’81!’$(’9$其中%%)&)’均大于!用于调整这三种信息的相对重要性&若取%d&d’d#!-#d&#($!!-!d&!($!!-$d-!J!!&#uu#!&!uu#!(为图像的动态范围!则式9$可以简化为OOT@1!’$d!#1#’n-#$!$1$’n-!$#!1n#!’n-#$$!1n$!’n-!$’$OOT@满足以下特性%/$对称性!OOT@1!’$dOOT@’!1$#S$有界性!OOT@.##7$最大值唯一性!只有当两幅图像完全相同时!OOT@d#!否则OOT@的值在和#之间&文献’!(使用##r##的高斯加权窗口在参考图像和失真图像中逐像素移动!每次都在##r##的局部窗口中计算两幅图像的OOT@!得到OOT@4/.!最后综合所有图像块对图像进行总体评价!采用高斯加权窗是为了避免出现分块效应&由于考虑了人类视觉效果!相比于@O]和COWA来说!OOT@方法具有较好的相关性!计算也比较简洁!得到了广泛应用&但是OOT@方法是基于一个假设而建立起来的方法!即?O的主要功能是提取场景中的结构信息&实际情况中!人眼的视觉信息是设计到方方