CVPR 13 显著性论文速读

CVPR13显著性论文速读2013.5.7马志国文章覆盖情况搜索“Saliency”关键字，共有6篇文章，其中5篇有PDF文件，缺少PDF文件的文章为：PISA:PixelwiseImageSaliencybyAggregatingComplementaryAppearanceContrastMeasureswithSpatialPriors搜索“Salient”关键字，共有3篇相关，只有一篇有PDF文件：Salientobjectdetection:adiscriminativeregionalfeatureintegrationapproach说明：本次共讲解7篇文章。由于文章数目很多，只讲解核心思想与趋势，具体技术内容请自行查阅原文。文章列表1.HierarchicalSaliencyDetection2.Learningvideosaliencyfromhumangazeusingcandidateselection3.LookingBeyondtheImage：UnsupervisedLearningforObjectSaliencyandDetection4.SaliencyAggregation：AData-drivenApproach5.SaliencyDetectionviaGraph-BasedManifoldRanking6.SalientObjectDetection：ADiscriminativeRegionalFeatureIntegrationApproach.7.WhatMakesaPatchDistinctHierarchicalSaliencyDetection动机：小尺度、高对比的模式（高纹理区域）会干扰显著性检测解决方案：多层次(尺度)的分析方法技术路线：不同大小的过分割图像块，构成树形结构，利用层次推断的方法，得到最终的显著性图。步骤主要步骤1.Watershed过分割，不同的合并阈值2.局部对比度与中央先验3.层次推断与信念传播求解实验设置运行时间：0.28秒，400*300分辨率，3.4GCPU，8G内存，主要耗时在图像层次的构建上。实验数据集：MSRA1000与5000数据集对比方法：其他11种实验指标：F-measure实验结果Learningvideosaliencyfromhumangazeusingcandidateselection动机：视频与静态图像中的显著性存在本质差异：视频显著性具有稀疏、观看时间短的特点。解决方案：综合静态、动态和语义特征，选取较少的候选关注区域，利用分类器学习从一个区域跳转到另外区域的概率技术路线：利用显著性图采样的方式得到候选关注区域作为静态特征；光流的局部对比作为动态特征；人脸、人体、中心位置作为语义特征。图像与视频显著性差异a)图像显著性中每个人都会被关注b)视频显著性中只关注演讲者。静态、动态及语义候选语义候选：中央（红）；脸（绿）；身体（蓝）视线转移动力学建模利用场景切换检测器，找到注意点改变的帧。利用随机森林学习从源位置到目标位置跳转的概率。跳转的信度值作为跳转的概率实验设置评价指标：AUC，卡方距离数据集：DIEM实验结果LookingBeyondtheImage:UnsupervisedLearningforObjectSaliencyandDetection动机：数据驱动的方法，图像块出现在相似图像集中的概率越小，此图像块越显著。解决方案：利用图像的全局描述子搜索若干相似的图像，作为参考图像集；从参考图像集中采样一些矩形块，估计目标图像中图像块在这些块中出现的概率。技术路线：缩略图上相似图像搜索；利用颜色和位置特征估计图像块出现概率；概率图中采样作为候选的物体算法流程图1.Gist相似图像搜索2.图像块显著性估计（概率估计）3.后处理（上下文与平滑）4.候选物体矩形框估计采样策略Coherent采样克服NMS带来的一些问题。实验设置数据集：训练与验证数据集VOC2007，未标注图像集：98000张，来自LabelME，VOC2007和2012.图像块大小：7*7性能指标：Precision-Recall曲线实验结果显著性图结果SaliencyAggregation:AData-drivenApproach动机：不同的显著性计算方法存在互补的性质；针对不同的图像，自动选择不同的计算方法，可以得到更好的性能。解决方案：利用数据驱动的方法，选择近似的图像集，将相似图像上的多种显著性算法的结果进行整合。技术路线：利用Gist全局描述子，找到相似的图像；利用CRF学习，将多张图像上、多种算法输出的显著图整合。显著性方法及其互补性不同的显著性方法具有不同的特性，整合起来可以得到更好的性能。显著性整合方法一．标准整合方式：加权（非）线性整合二．数据驱动的整合方式a)逐像素整合b)CRF整合（考虑像素间的相关性）特定图像的显著性整合利用相似的图像训练特定图像的显著性模型GIST描述子寻找相似图像实验设置两个数据集：MSRA1000和立体视显著性数据库（1000张，只用左视图）对比方法：其他10种评价指标：PR曲线实验结果两个数据集上的定量结果更多的结果SaliencyDetectionviaGraph-BasedManifoldRanking动机：综合利用图像中背景、前景的先验位置分布及连通性，得到显著物体分割的更好结果解决方案：利用图像边框大多是背景的先验信息，通过流形排序的方法将此先验扩散并增加，得到前景的比较可靠的估计；随后将前景的信息用类似的流形排序的方法加强，得到最终的显著性物体。技术路线：SLIC图像过分割；构建对应的图；背景先验的流形排序算法；自适应分割；前景上的流形排序算法算法流程图1.分别用四边作为背景，估计前景的显著性；2.合并四边的估计结果，得到初始显著性图3.阈值化分割得到二值前景图4.利用背景进行流形排序得到最终的显著性结果图像过分割与图构建SLIC过分割，K-regular图，周边连通；边界连通的好处背景先验计算及物体在边界上算法流程实验结果数据集：MSRA1000、5000，作者提出的DUT-OMRON5172张图像实验设置：超像素个数200个评测指标：F-measure（偏向Precision）实验结果SalientObjectDetection:ADiscriminativeRegionalFeatureIntegrationApproach动机：利用监督学习的方法，将多尺度分割得到的区域特征进行整合，得到最终的显著物体。解决方案：将图像进行多尺度分割；计算区域的显著性；多尺度显著性整合。技术路线：基于图的过分割方法；区域的多特征描述（颜色、纹理，对比度及背景）方法的框架1.多层次分割2.区域显著计算3.多层次融合区域特征描述颜色与纹理，特征的距离与对比度，背景作为特征。中央-周边差异。区域的特征描述子学习方法与多层显著整合随机森林回归的方法学习从特征描述到显著性值的映射多层次上的显著性利用最小二乘的方法进行整合。实验设置与结果数据集：MSRA-B（5000张），SED（100+100张），SOD（300张），iCoSeg(643张）。数据集划分：2500训练，500张验证，2000张测试评价指标：PR曲线，ROC，AUC参数敏感性和特征重要性PR、ROC及AUC值定性对比WhatMakesaPatchDistinct?动机：从图像模式与颜色区分度两个角度进行显著性检测解决方案：利用图像块内部的统计信息度量图像块的模式；利用LAB颜色空间的差异度量颜色差别性。技术路线：利用PCA变换，度量图像块的模式差别。模式与颜色差异示例Px更加容易出现在Im1的主元组成的空间中；模式区分度定义模式区分度的定义：图像块在PCA坐标下的L1范式实现细节：减均值，多尺度。图像块的不同突出程度模式区分度的性能与运行效率只使用模式特征进行显著性检测颜色区分度定义与其他所有块的颜色差异和模式区分度与颜色区分度的融合：实验设置与结果数据集：对比方法：其他4个最好的方法指标：AUC模式、颜色及中央偏向整合定量结果与性能排序视点预测能力时间效率对比总结与研究趋势一．主要集中在显著物体分割工作上，视频预测的工作大幅减少二．数据驱动的方法增加很快，主要利用全局相似图像作为参考三．基于机器学习的方法增多，其中随机森林的方法是现在的主流。四．利用背景先验进行流形排序的方法，建议仔细阅读五．多数方法利用了多层次或者多尺度的思想。六．未来的研究趋势：视频上显著性的检测、立体视觉上的显著性