多媒体信息检索技术

多媒体检索多媒体信息检索技术与方法基于内容的图像检索技术基于文本的信息检索方法多媒体检索技术与方法多媒体检索概念理解多媒体检索是一种基于内容特征的检索（CBR：content-basedretrieval）。所谓基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成。多媒体检索技术与方法多媒体检索的特点(1)相似性检索：CBR采用一种近似匹配（或局部匹配）的方法和技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了因采用传统检索方法所带来的不确定性。(2)直接从内容中提取信息线索：CBR直接对文本、图像、视频、音频进行分析，从中抽取内容特征，然后利用这些内容特征建立索引并进行检索。(3)满足用户多层次的检索要求：CBR检索系统通常由媒体库、特征库和知识库组成。媒体库包含多媒体数据，如文本、图像、音频、视频等；特征库包含用户输入的特征和预处理自动提取的内容特征；知识库包含领域知识和通用知识，其中的知识表达可以更换，以适应各种不同领域的应用要求。(4)大型数据库(集)的快速检索：CBR往往拥有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。多媒体检索技术与方法基于内容的多媒体信息检索体系结构媒体数据特征提取目标标识媒体库特征库知识库知识辅助用户查询接口检索引擎索引/过滤数据库特征提取子系统数据库查询子系统多媒体检索技术与方法多媒体信息检索过程用户需求媒体资源内容查询内容索引匹配多媒体检索技术与方法多媒体信息检索分类文本检索多媒体检索图像检索视频检索音频检索多媒体检索技术与方法基于内容的图像检索--图像检索的过程就是图像特征的提取、分析及匹配。特征提取：提取各种特征，如颜色，纹理，形状等。根据提取的特征不同，采取不同的处理，比如提取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确性方面加以改进，以适应检索的需要，实现特征提取模块。特征分析：对图像的各种特征进行分析，选择提取效率高、信息浓缩性好的特征，或者将几种特征进行组合，用到检索领域。特征匹配：选择何种模型来衡量图像特征间的相似度。多媒体检索技术与方法*基于内容的图像检索工作原理图像特征库数字图像源用户相关反馈图像检索特征提取图像索引多媒体检索技术与方法基于内容的图像索引技术：图像特征提取技术颜色特征纹理特征形状特征图像索引主要技术颜色直方图、颜色矩颜色集、颜色聚合向量、颜色相关图Tamura纹理特征自回归纹理模型基于小波变换的纹理特征傅里叶性状描述符形状无关矩其他形状特征空间关系特征基于图像分割的方法基于图像子块方法多媒体检索技术与方法图像颜色特征颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中包含的物体或场景十分相关。此外，与其他特征相比，颜色特征计算简单，同时对图像本身的尺寸、方向、视角的依赖性较小，具有较好的紧致性。多媒体检索技术与方法，定义如下：其中ni为图像中颜色取值为i的像素个数，N为像素总数，K为可能的颜色取值范围。这样计算得到的颜色直方图就是一个K维的特征向量。颜色直方图所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，所以特别适合描述那些不需要考虑特定物体空间位置的图像内容。KiNnihi,,1,0,)(颜色特征——颜色直方图多媒体检索技术与方法颜色特征——颜色矩这种方法的数学基础在于图像中的任何颜色分布均可用他的矩来表示。由于颜色分布信息主要集中在低阶矩中，所以只采用颜色的一阶矩、二阶矩和三阶矩就可以表达图像的颜色分布。与颜色直方图比较，该方法的一个好处就是无需对于特征进行量化。设pij是图像中第j个像素的第i个颜色分量，则该颜色分量上矩的计算如下：图像的颜色矩一共有九个分量，每个颜色通道均有三个低阶矩。颜色矩仅仅使用少数几个矩，从而导致过多的虚警，因此颜色矩常和其他特征结合使用。3/1132/1121))(1())(1(1NjiijiNjiijiNjijiupNsupNpNu多媒体检索技术与方法颜色特征——颜色集为了提高检索的速度，Smith和Chang提出了用颜色集的方法，首先将RGB颜色空间转换成视觉均衡的颜色空间（HSV），并将颜色空间量化成若干个bin，然后运用颜色自动分割技术将图像分为若干个区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达成一个二进制的颜色索引表。在图像匹配中，比较不同图像颜色集之间的距离和颜色区域的空间关系。因为，颜色集表达为二进制的特征向量，可以构造二分查照树来加快检索速度，对大规模的图象集合十分有力。多媒体检索技术与方法颜色特征——颜色聚合向量针对颜色直方图和颜色矩无法表达图像色彩的空间位置的缺点，Pass提出了图像的颜色聚合向量（colorcoherencevector）。它是颜色直方图的一种演变，其核心思想是将属于直方图每一个bin的像素进行分为两部分：如果该bin内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。由于包含了颜色分布的空间信息，颜色聚合向量相比颜色直方图可以达到更好的检索效果。多媒体检索技术与方法颜色特征——颜色相关图颜色相关图（colorcorrelogram）是图像颜色分布的另一种表达方式。这种特征不但刻画了某一种颜色的像素数量占整个图像的比例，还反映了不同颜色对之间的空间相关性。实验表明，颜色相关图比颜色直方图和颜色聚合向量具有更高的检索效率，特别是查询空间关系一致的图像。如果考虑到任何颜色之间的相关性，颜色相关图会变得非常复杂和庞大(空间复杂度为O(N2d))。一种简化的变种是颜色自动相关图（colorauto-correlogram），它仅仅考察具有相同颜色的像素间的空间关系，因此空间复杂度降到O(Nd)。多媒体检索技术与方法纹理特征纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。多媒体检索技术与方法纹理特征——Tamura纹理特征基于对纹理的视觉感知心理学研究，Tamura等人提出了纹理特征的表达方法。Tamura纹理特征的6个分量对应于心理学角度的纹理特征的6种属性，分别是粗糙度（coarseness）、对比度（contrast）、方向度（directionality）、线像度（linelikeness）、规整度（regularity）、粗略度（roughness），其中粗糙度、方向度和对比度在检索中最为重要。在Tamura表示中的所有纹理性质都是有意义的，与人的主观感受比较吻合，这使得Tamura纹理表示在图象检索中非常具有吸引力，而且可提供一个更有友好的用户界面。多媒体检索技术与方法形状特征形状是描述图像内容的一个重要特征。它常与目标联系在一起，又一定的语义含义，因而可以看作是比颜色或纹理要高层一些的特征。但另一方面，对形状的表达比对颜色或纹理的表达从本质上要复杂得多，常需要先对图像进行分割。由于当前的技术无法做到准确和通用的自动图像分割，图像检索中的形状特征只能在特定应用场合使用。在这些应用中，利用特定领域知识可以从图像中分割获得包含的目标（物体或区域）。多媒体检索技术与方法形状特征一般来说，形状特征有两种表示方法，一种是轮廓特征，一种是区域特征。前者适用于对形状边界的描述，而后者则适用于表达形状包含的整个区域。这两类形状特征的最典型方法分别是傅立叶描述符（FourierDescriptor）和形状无关矩（MomentInvariants）。多媒体检索技术与方法形状特征——傅立叶描述符傅立叶描述符的主要思想是将经过傅立叶变换后的边界作为形状特征。从轮廓上的任一点开始绕轮廓一周可以定义一个复数序列：对其进行离散傅立叶变换，就得到轮廓的傅立叶描述：在此基础上，文献提出了一种改进的傅立叶算法，这种算法不仅对噪音具有很好的鲁棒性，而且对几何变换具有不变性，更加适合图像检索的需要。1,,1,0)()()(Nkkjykxku1,,1,0)/2exp()(1)(10NNkjkuNFNk多媒体检索技术与方法图像空间关系特征图像空间关系特征主要用来描述图像中的对象或者物体。在图像处理过程中有时会出现上面的特征相似的情况，此时就需要利用空间关系来描述图像图像空间关系特征的提取通常有两种方法：一种是现对图像进行自动分割，划分出图像中所包含的对象或者颜色区域，然后根据这些颜色区域来对图像进行索引；另一种是将图像均匀的划分若干个规则的子块，然后针对每个图像子块分别提取特征并建立索引多媒体检索技术与方法基于内容的图像检索方法基于图例的图像检索方法外部图像查询内部图像查询草图查询综合检索方法利用检索系统外部图像进行检索查询提问的图像是检索系统内部的图像用户先画出一幅草图，再根据草图在系统中查询自己想要的图像现有的图像检索系统通常都是综合利用上述方法多媒体检索技术与方法图像综合检索方法示意图草图数字图像抽象特征用户输入草图检索外部图像检索直接检索浏览图像综合检索示意图图像图像图像多媒体检索技术与方法图像相似度比较方法基于内容的图像检索是通过计算查询与候选图像之间视觉特征的相似度来完成。在对图像内容进行描述的时候主要采用特征向量的方式，因此，常用的图像相似度比较方法也是基于向量空间模型的，可以将向量特征看作是向量空间中的点，通过计算两点之间的接近程度来衡量图像之间的相似度。常用的图像相似度比较方法如下：直方图相交、二次距离、马氏距离、欧拉距离、非几何的相似度方法多媒体检索技术与方法相关反馈相关反馈是一种查询逐步求精技术，最初用于文本检索系统中，主要特点是将用户引入查询过程，根据用户的反馈信息调整查询要求，从而进一步优化查询结果，直到用户满意为止。用户的参与使系统能更好地揣测用户的意图，也使得在低层可视特征和高层语义概念之间建立某种联系成为可能。图象检索中的相关反馈方法大致可以分为两种类型：参数调整方法和机器学习方法多媒体检索技术与方法基于内容的图像检索系统举例——IMEDIAIMEDIA按照数据库的内容划分为五个功能系统。VisualRetrieval(generalistdatabases)、VisualRetrieval(biodiversitycollections)、VisualRetrievalwithrelevancefeedback（satelliteimages）、partialvisualqueries(localdescriptors)和3Dretrieval多媒体检索技术与方法多媒体检索技术与方法IMEDIA之——VisualRetrieval图像库VisualRetrieval(generalistdatabases)和VisualRetrieval(biodiversitycollections)的界面是基本一致的，但是VisualRetrieval(biodi