视觉显著性算法概述

关于自底向上的显著性方法的综述报告人：周静波2012年08月30日报告提纲一．研究现状二．算法模型介绍三．实验结果及分析四．结论研究现状研究现状•基于视觉注意的显著性区域检测对于图像分析过程有着非常重要的意义。注意是人类信息加工过程中的一项重要的心理调节机制，它能够对有限的信息加工资源进行分配，使感知具备选择能力。如果能够将这种机制引入图像分析领域，将计算资源优先分配给那些容易引起观察者注意的区域，这样必将极大的提高现有的图像处理分析方法的工作效率。显著性区域检测正是在这个基础上提出并发展起来的。研究现状•显著性检测一般分为两类–自下而上基于数据驱动的显著性区域突现–自上而下任务驱动的目标突现•本报告只关注自下而上的显著性检测算法研究现状•Achanta将这些算法分成三类–基于低层视觉特征，代表性算法是文献[1]中提出的模拟生物体视觉注意机制的选择性注意算法(Itti算法)–没有基于任何生物视觉原理的纯数学计算方法，如Achanta等[4]提出的全分辨率算法(AC算法)和Hou等[5]提出的基于空间频域分析的剩余谱算法(Spectralresidualapproach,SR)–将前两种进行融合的方法，代表性算法是Harel等[6]提出的基于图论的算法(Graph-basedvisualsaliency，GBVS)研究现状•Goferman将显著性分析算法分成以下三类–考虑局部特征的，如Itti算法和GBVS算法–考虑整体性的，如SR算法和Achanta等[3]提出的算法(IG算法)–局部与整体结合的，如Goferman等[7]和Liu等提出的算法算法模型介绍Itti模型•Itti模型中,显著值是像素点在颜色、亮度、方向方面与周边背景的对比值。该模型包括两个步骤:–特征提取–显著图生成AIM模型•AIM（Attention-basedonInformationMaximization）模型利用香农的自信息度量，将图像的特征平面变换到对应于视觉显著性的维度上。•AIM假设：一个视觉特征的显著性就是该特征相对于它周围其他特征提供的信息的差别度。•根据香农定理，图像特征对应的自信息通过下面的公式进行计算为特征的概率密度函数。))(log()(xpxI)(xpGBVS模型•GBVS（Graph-BasedVisualSaliency）模型是在Itti的模型基础之上运用马尔可夫随机场的特点构建二维图像的马尔可夫链，通过求其平衡分布而得到显著图•算法步骤：–特征的提取：与Itti算法类似–显著图生成：马尔可夫链方法FTS模型•FTS（Frequency-TunedSaliency）模型是由Achanta等人提出的一种自底向上的显著性检测方法，通过局部颜色和亮度特征的对比多尺度方法求像素点显著值。•将原始图像由SRGB颜色空间转化成CIE颜色空间，然后显著性映射定义为•其中为图像特征的几何平均向量，为对原始图像的高斯模糊，采用的二项式核。为范数，为像素点坐标。hcIIyxS),(IhcI552Lyx,SR模型•SR（SpectralResidual）模型是由Hou等人提出来的，基于空间频域分析的算法之一，显著图通过对剩余谱做傅里叶逆变换得到。•剩余谱定义为•其中，为原图二维傅里叶变换得到的频域空间，为局部平均滤波器（一般n取3）)(fR)(fR)))(log(*)()(log()(fAfhfAfRn)(fA)(fhnPQFT模型•PQFT（PhaseSpectrumofQuaternionFourierTransform）模型是由Guo等人在SpectralResidual基础之上提出的，该方法通过计算图像的四元傅里叶变换的相位谱得到图像的时空显著性映射。•事实上，图像的相位谱即图像中的显著性目标。图像中的每一个像素点都用四元组表示：颜色，亮度和运动向量。•PQFT模型独立于先验信息，不需要参数，计算高效，适合于实时显著性检测PQFT模型•假设表示时间t时刻的输入图像，，为所有图像帧的总数。分为红、绿、蓝三个颜色通道，表示为，那么，可以将三个颜色通道扩展为四个广义的颜色通道：)(tFTt,,2,1T)(tF)(),(),(tbtgtr2)()()()(2)()()()(2)()()()(trtgtbtBtbtrtgtGtbtgtrtR)(2)()(2)()()(tbtgtrtgtrtYPQFT模型•类似于人类视觉系统，对立颜色通道定义为•亮度通道和运动通道定义为•其中为使用者设定的延迟因子。)()()(),()()(tYtBtBYtGtRtRG)()()(3)()()()(tItItMtbtgtrtIPQFT模型•四元组图像可以表示为下列形式其中，满足，可以写成如下形式321)()()()()(tItBYtRGtMtq3,2,1,ii12i,212133132,,)(tq1211221)()()()()()()()()(tItBYtftRGtMtftftftqPQFT模型•将图像中每一个像素点表示为，为空间坐标，为时间坐标。四元傅里叶图像变化写成•表示频域坐标，表示图像维度。四元逆傅里叶变化为),,(tmnq),(mnt221],[],[],[vuFvuFvuQ],[1),(1010)//(21mnfeMNvuFMmNniNnuMmvi),(vuMN,1010)//(2],[1),(1MvNuiNnuMmvivuFeMNmnfPQFT模型•可将表示为的极坐标形式•其中为的相位谱。设定，则只剩下相位信息。计算逆相位信息可得到•时空显著性映射为•其中g表示二维高斯平滑滤波。当输入为静态图像时，。)(tq)(tQ)()()(tetQtQ)(t)(tQ1)(tQ)(tq)('tq3322110)()()()()('tttttq2)('*)(tqgtsM0)(tMSDSR模型•SDSR（SaliencyDetectionbySelf-Resemblance）模型由Seo等人提出的，通过计算感兴趣像素点的特征矩阵与其相邻的像素点的特征矩阵之间的相似性，来确定像素点的显著性映射。•每一个像素点的局部图像结构表示成一个局部描述子（局部回归核）矩阵；然后，利用矩阵余弦相似计算量化每一个像素点和它相邻的像素点对应的局部描述子矩阵之间的相似性。SDSR模型•对于像素点i，与之对应的特征矩阵，给定像素点i周围相邻的像素点特征矩阵，显著性映射为•其中为矩阵和的余弦相似性，为局部权重参数。局部特征矩阵的列表示局部指导核的输出iFjFNjjiiFFS12)),(1exp(1),(jiFFiFjF)2)()(exp()det()(22hxxCxxhCxxKillTiliilSDSR模型SUN模型•SUN（SaliencyUsingNaturalStatistics）模型由Zhang等人提出的，模仿视觉系统检测潜在的目标。•假设z代表视觉区域中的一个点。二值随机变量C代表该点是否属于目标，L表示该点的坐标位置，F表示该点的视觉特征。定义为，分别表示点z的特征和坐标。根据贝叶斯定理zs),|1(zzlLfFCpzzlf,),()1()1|,(),|1(zzzzzzzlLfFpCpClLfFplLfFCpsSUN模型•假设特征和坐标相互独立，那么•对上式两边同时取对数，由于对数函数是单调增加的，因此不会影响各点的显著值排列)(arg)(arg)|1()1|()(1)()()1()1|(),(saliencydowntopdependentetTpriorLocationzLikelihoodzsaliencyupbottomtindependenetTzzzzzzzlLCpCfFpfFplLpfFpCpClLplLfFps)'arg()()(inf)|1(log)1|(log)(logloglocationsettofknowledgedowntoppriorLocationzappearanceofknowledgedowntoplikelihoodLogzsaliencyupbottomormationSelfzzlLCpCfFpfFpsSUN模型•只依赖于点z的视觉特征，独立于任何先验信息。在信息论中，该项实际上求随机变量F取值为时的自信息。•体现了目标的先验信息。比如，当知道目标物体为绿色时，那么该项的值在遇到绿色点时比遇到蓝色点要大。•独立于视觉特征，反映了目标物体位置的先验信息。一般情况下，我们并不知道目标的位置信息和目标的视觉特征，于是我们省略后两项，只剩下自信息这一项)(logzfFpzf)1(logCfFpz)1(logzlLCp)(loglogzzfFpsGCS模型•GCS（GlobalContrastbasedSaliency）模型是由程明明等人基于输入图像的颜色统计特征提出的基于直方图对比度的图像显著性值检测方法。具体的说，一个像素的显著性值用它和图像中其他像素颜色的对比度来定义。•图像中像素点的显著性定义为•其中为像素在Lab空间的颜色距离度量。如果忽略空间关系，使得具有相同颜色的像素归到一起，得到每一个颜色的显著性值IkIIIikkiIIDIS),()(),(ikIIDNjjljlkccDfcSIS1),()()(GCS模型•为了加入空间关系，首先利用基于图的图像分割方法将输入图像分割成若干个区域。然后对每一个区域建立颜色直方图。对每一个区域，通过测量它与图像其他区域的颜色对比度来计算它的显著值•为区域的权值，为两个区域的颜色距离度量。对于区域和，他们之间的颜色距离度量定义为•为第i个颜色在第k个区域的所有种颜色中出现的概率。krikrrikrikrrDrwrS),()()()(irwir),(rD1r2r),(),(),(),(,2,111212112jininjrccDjcficfrrD),(icfkikc,krknGCS模型•为了增加区域的空间影响效果，基于空间加权区域对比度的显著性定义为：•为区域和的空间距离，控制空间权值强度。),()(*)/),(exp()(2ikrirrsikskrrDrwrrDrSik),(iksrrDkrirsPBS模型•PBS（Patch-basedSaliency）模型都是先将图像分割为一系列大小一致的图像块，再根据不同的特征提取方式，对图像块进行特征提取。•下面介绍PBS算法的一般步骤–对于维数为的图像，将其分解为一系列大小为的图像片。为简便起见，我们不考虑图像片的重叠问题。图像片的总数为。对于任一图像片，将其表示成向量形式，最终得到一个表示图像片的矩阵WHInnnWnHL//Lipi,,2,1,ix],,,[21LxxxXPBS模型•使用PCA抽取特征。对图像片矩阵，计算•对应的协方差矩阵为：•对A进行特征值分解，选择前d个最大特征值对应的特征向量。其中U的维度为。],,,[21LxxxXLiixx1],,,[ˆ21xxxxxxXL2/)ˆˆ(LXXATTduuuU],,,[21LdPBS模型•给定图像片和，它们之间的不一致性为：其中，为绝对值函数。ipjp),(1),(),(jijicolorjippdistppdistppitydissimilardnnjnijicoloruuppdist1),(PBS模型•图像片的显著性计算方法为：其中为图像片总数。ip}),(1exp{11Nkkiiqpity