4-基于内容的图像检索

研究生课程数字图像处理DigitalImageProcessing彭宇新北京大学计算机科学技术研究所E_mail:[e-mail]基于内容的图像检索z为什么需要基于内容的图像检索?z查询方式，查询demo，现有系统简介z具体内容9特征提取9相似度匹配9相关反馈9索引结构zMPEG-7介绍：性能评价等z思考的几个问题？为什么需要基于内容的图像检索?z当前图像内容的特征9海量的图像内容出现¾人类已有的：历史、地理、军事、医学…¾每天新增的：数码相机、互联网9图像内容的特征：没有索引、目录或摘要9怎样找到需要的图像？z基于文字描述的图像检索9丰富的图像内容很难用文字来全面描述9文字的选取因人而异，带有很大的主观性9耗费大量的人力和时间z结论：对于海量的图像，基于文字的检索已不可能z问题：目前搜索引擎提供的基于文字的图像检索，能够解决问题吗？解决得好吗？为什么需要基于内容的图像检索?z为什么需要基于内容的图像检索(CBIR)?9提供图像的检索功能9不需要人手工标注，计算机自动分析和检索，节省人力和时间9使海量图像的管理和索引成为可能9存在的问题：¾人类高级语义特征与计算机底层特征表示的矛盾¾查询方式问题为什么需要基于内容的图像检索?基于内容的图像检索z为什么需要基于内容的图像检索?z查询方式，查询demo，现有系统简介z具体内容9特征提取9相似度匹配9相关反馈9索引结构zMPEG-7介绍：性能评价等z思考的几个问题？基于内容的图像检索z查询方式9利用采样图像：选择图像数据库中的图像9利用范例图像：来自图像库之外，用户自己提供9利用局部图像：先提取图像区域，再利用该图像区域检索；或利用不同图像的不同区域的拼图9利用绘制图像：用户绘制出来的图作为查询图像，描述用户的检索目标或场景¾草图：简单的素描，用户期望的目标形状¾绘画：用颜色描绘图像区域及区域的空间分布9……例1——山水图像查询例子每页12幅/第1页/共5页每页12幅/第2页/共5页每页12幅/第3页/共5页每页12幅/第4页/共5页每页12幅/第5页/共5页z现有系统9QBIC9Virage9Photobook9VisualSEEK9MARS9…基于内容的图像检索zQBIC(QueryByImageContent)9IBM研制开发9支持图像例子、绘制草图或定制图像特征模板来检索图像库9颜色使用RGB,YIQ,Lab和MTM颜色空间9纹理使用改进的Tamura表示：粗糙度，对比度和方向性等9形状特征有目标面积、各阶矩、离心率和主轴方向等9草图特征，如边界各点的切线方向等9开发了基于聚类的索引技术基于内容的图像检索zVirage的VIRImageEngine9类似于QBIC系统9特色：将特征进行归类，用户查询时可以对特征进行任意组合zPhotobook9MIT媒体实验室开发9首先根据目标类别划分数据库，3个基本目标是：脸、形状和纹理基于内容的图像检索基于内容的图像检索z为什么需要基于内容的图像检索?z查询方式，查询demo，现有系统简介z具体内容9特征提取9相似度匹配9相关反馈9索引结构zMPEG-7介绍：性能评价等z思考的几个问题？基于内容的图像检索z特征提取(FeatureExtraction)9颜色特征9纹理特征9形状特征9空间关系特征9……基于内容的图像检索z颜色特征9颜色空间（也称彩色模型或彩色系统）9颜色特征表示9颜色相似度匹配算法颜色特征z颜色空间9RGB9CMY或CMYK9HSI9HSV:比HSI模型更与人类对颜色的感知接近9均匀颜色空间模型：MTM，LUV和Lab颜色空间zRGBHSV()()()()()()()()()()⎪⎪⎩⎪⎪⎨⎧−−+−−+−−−−+−−+−=BGBRGRBRGRBGBRGRBRGRH222arccos22arccosπ()()()BGRBGRBGRS,,max,,min,,max−=()255,,maxBGRV=GB≤GB颜色特征z均匀颜色空间模型9从图像处理的角度，对颜色的描述应该与人对颜色的感知越接近越好9从视觉感知均匀的角度，人所感知到的两个颜色的距离应该与这两个颜色在表达它们的颜色空间中的距离越成比例越好9如果在一个颜色空间中，人所观察到的两种颜色的区别程度与该颜色空间中两点间的欧式距离对应，则称该空间为均匀颜色空间9典型的例子：MTM,Luv和Lab颜色特征z颜色特征表示9统计直方图9累积直方图9颜色布局9颜色分块颜色特征z统计直方图：()nnkpk=1,...,1,0−=Lk012345670.30.20.100.150.250.10.150.10.050.150.05颜色特征z累积直方图：()∑==kiknnkI01,...,1,0−=Lk012345670.60.40.200.81.00.150.40.50.650.750.80.951颜色特征z颜色布局9MPEG-7中建议了一种颜色布局描述符(colorlayout)9表达颜色的空间分布信息z颜色布局算法9将图像从RGB空间映射到YCrCb空间：BGRCrBGRCbBGRY×−×−×=×+×−×−=×+×+×=081.0419.0500.0500.0331.0169.0114.0587.0299.0颜色特征z颜色布局算法9将整副图像平均分成64块，计算每一块中所有像素各颜色分量的平均值，以此作为该块的代表颜色（主颜色）9将各块的平均值数据进行DCT变换9通过之字形扫描和量化，取出3组颜色DCT变换后的低频分量，构成该图像的颜色布局描述符颜色特征z颜色相似度匹配算法1.直方图相交法2.欧式距离3.距离法4.中心矩法5.参考颜色表法颜色特征1、直方图相交法令和分别为查询图像Q和数据库图像D的（某一）特征的统计直方图，则两图像之间的相似值为()kHQ()kHD()()(){}()∑∑−=−==1010,min,LkQLkDQkHkHkHDQP距离为：()DQPdL,11−=颜色特征1、直方图相交法如果用HSV直方图表示每幅图像，则两幅图像Q和D的直方图交表示为：()()(){}()()⎭⎬⎫⎩⎨⎧=∑∑∑∑∑∑∑∑∑HSVDHSVQHSVDQVSHHVSHHVSHHVSHHDQP,,,,,,min,,,,,min,()()(){}()∑∑∑∑∑∑=HSVQHSVDQVSHHVSHHVSHHDQP,,,,,,,min,直方图相交法的缺点：思考题Bin-By-BinBin-Across-Bin颜色特征2、欧式距离法()()()[]∑−=−=102,LiDQEiHiHDQP加权的欧式距离法()()()[]∑−=−=102,LiDQiwiHiHWDQP()⎩⎨⎧=1iHWQi()()()iHiHiHQDQ0,或＝0()iHD颜色特征3、距离法为减少计算量，可借助直方图的均值来粗略地表达颜色信息。如果图像用R，G，B三个分量表示，则图像的特征向量由这三个分量的均值组成[]TBGRfμμμ,,=此时图像Q和D的相似值为()()()∑−=−=BGRDQDQffDQP,,22,μμ颜色特征3、距离法MPEG-7中建议的颜色布局描述符在匹配时使用了类似的距离公式()()()()∑∑∑−+−+−=iDiQiCbiDiQiCriDiQiYCbCbWCrCrWYYWDQP2,,2,,2,,,W为权重，Yi,Cri,Cbi为各个分量的第i个DCT系数颜色特征4、中心矩法9对直方图来说，均值是其零阶矩，更高阶的矩也可用于匹配9对一幅灰度级为L的图像，其直方图为H(i),则该图像的前三阶中心矩分别为()()()()()31103132110212101111⎥⎦⎤⎢⎣⎡−=⎥⎦⎤⎢⎣⎡−==∑∑∑−=−=−=LiLiLiMiHLMMiHLMiHLM颜色特征4、中心矩法9对彩色图像，用和表示图像Q和D的3个分量R,G,B的直方图的i(i≤3)阶中心矩，则它们之间的匹配值为QBiQGiQRiMMM,,,,,()()()()∑∑∑===−+−+−=31312,,2,,312,,,iiDBiQBiBDGiQGiGiDRiQRiRMMWMMWMMWDQP如果彩色图像用3个分量H,S,V来表示，也可用类似方法计算DBiDGiDRiMMM,,,,,颜色特征5、参考颜色表法9距离法太粗糙，直方图相交法计算量太大9折衷的方法：将图像颜色用一组参考色表示,这组参考色应能覆盖视觉上可感受到的各种颜色9参考色的数量要比原图的少，可得简化的直方图，所以匹配的特征向量是[]nrrrf,...,,21=ri是第i种颜色出现的频率，n是参考颜色表的尺寸颜色特征5、参考颜色表法加权后的查询图像Q和数据库图像D之间的匹配值为()()()∑=−=−=niDiQiiDQrrWffWDQP12,,2,⎩⎨⎧=1,QiirW0,Qir当且0,Dir当或0,=Qir0,=Dir基于内容的图像检索z纹理特征9概述9纹理表示9纹理距离度量举例基于内容的图像检索砖墙木头水布乱草树叶基于内容的图像检索z纹理概述9描述图像时常用的一个概念，类似于颜色，也常取决于感知9对纹理的感受是与心理效果相结合的，所以用语言或文字来描述纹理很困难9类似于布纹、草地、砖墙等重复性结构的图像称为纹理图像基于内容的图像检索z纹理概述（续）9纹理可认为是灰度(颜色)在空间以一定的形式变化而产生的图案（模式）9一般来说，纹理图像中灰度分布具有某种周期性，即便灰度变化是随机的，它也具有一定的统计特性9纹理通常和图像频谱中的高频分量是密切联系的，光滑的图像（主要包括低频分量）一般不认为是纹理图像基于内容的图像检索z纹理表示9Tamura表示法9联合概率矩阵表示9小波表示9……基于内容的图像检索zTamura纹理表示法9对比度、粗细度和方向性是描述纹理的3个量9利用这3个量可组合成一个3-D空间9在这个3-D空间中，两点间的欧式距离与人对纹理感知的差距很接近基于内容的图像检索z对比度(contrast)9依赖于像素的灰度分布，它可测量图像中局部的灰度变化，也常用作对图像整体感知的一种描述9一般来说，图像的对比度与图像灰度的动态范围及图像中边缘的尖锐程度都有关其中，是图像灰度的标准方差，是图像灰度的4阶中心矩[]4144/σμσ=contrastσ4μ基于内容的图像检索z粗细度(contrast，也叫粗糙度)9测量纹理的间隔尺寸/粒度9与图像的分辨率有关，分辨率大则纹理比较粗，即组成纹理的元素尺寸比较大其中，窗口尺寸是，k能使X和Y方向的最大化，k的取值在0到5之间()∑=ijkjifmncoarseness,21kk22×()∑ijkjif22/,基于内容的图像检索z方向性(directionality)9是一个全局的纹理特征，它描述纹理是如何沿某些方向散布或集中的9一般来说，方向性与纹理基元的形状以及如何将这些纹理基元排列的规则有关基于内容的图像检索z联合概率矩阵表示9在70年代早期，Haralick等提出了纹理特征的联合概率矩阵表示。这种方法考察了纹理在灰度级空间中的相关性9首先基于像素间的距离和方向建立联合概率矩阵9然后从联合概率矩阵中提取出有意义的统计量作为纹理描述基于内容的图像检索z小波表示9Smith和Chang等提出用小波子带的统计量（均值和方差）作为纹理表示9对112幅Brodatz纹理图像的表示中达到了90%的准确率一些纹理表示的比较结果zWeszka等比较了9傅里叶能量谱9联合概率矩阵表示9一次灰度级差分统计量z在地形样本上的测试表明傅里叶表示法的性能相对最差一些纹理表示的比较结果zOhanian和Dubes比较了9马尔科夫随机场表示9多通道滤波器表示9基于分形的表示9共生矩阵表示z测试：9两个人工纹理测试集（分形）和高斯马尔科夫场9两个自然纹理测试集（羽毛和油漆表面）一些纹理表示的比较结果z结论：共生矩阵是最好的zMa和Manjunath比较了9正交和双正交小波变换表示9树结构小波变换表示9Gabor小波变换表示9结论：Gabor小波变换表示效果最好基于内容的图像检索z形状特征9形状常与目标联系在一起，有一定的语