第5章-图像特征提取与分析

第4章图像特征提取与分析第4章图像特征提取与分析第4章图像特征提取与分析本章重点：图像特征及特征提取的基本概念。常见的图像特征提取与描述方法，如颜色特征、纹理特征和几何形状特征提取与描述方法。第4章图像特征提取与分析4.1引言4.2颜色特征的提取与表示4.3纹理特征的提取与表示4.4形状特征的提取与表示4.5小结第4章图像特征提取与分析第4章图像特征提取与分析4.1引言4.1.1基本概念特征从广义上讲，图像的特征包括基于文本的特征（如关键字、注释等）和视觉特征（如色彩、纹理、形状、对象表面等）两类。视觉特征分类：颜色(color)、形状(shape)、纹理(texture)等第4章图像特征提取与分析特征形成根据待识别的图像，通过计算产生一组原始特征，称之为特征形成。特征提取原始特征的数量很大，或者说原始样本处于一个高维空间中，通过映射或变换的方法可以将高维空间中的特征描述用低维空间的特征来描述，这个过程就叫特征提取。4.1.1基本概念第4章图像特征提取与分析特征选择从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这个过程就叫特征选择。选取的特征应具有如下特点：可区别性可靠性独立性好数量少4.1.1基本概念第4章图像特征提取与分析特征选择和提取的基本任务如何从众多特征中找出最有效的特征。图像特征提取的方法低层次：形状、纹理、颜色、轮廓等图像某一方面的特征。中层次：高层次：在图像中层次特征基础上的再一次抽象，赋予图像一定的语义信息。4.1.1基本概念第4章图像特征提取与分析4.1.2应用基于内容的图像检索(CBIR，Content-BasedImageRetrieval)研究背景：CBIR是目前多媒体、信息检索、人工智能、数据库等领域共同关注的一个重要研究领域；源于改进基于文本的图像检索技术（text-basedimageretrieval）的不足；第4章图像特征提取与分析4.1.2应用研究内容：图像的内容是指物体、背景、构成、颜色等；是一种基于图像固有属性的机械匹配；步骤①特征提取②图像匹配③结果输出④特征调整第4章图像特征提取与分析4.1.2应用体系结构系统的核心是图像特征数据库。第4章图像特征提取与分析研究现状目前CBIR技术主要集中在颜色、纹理、形状等低层物理特征提取的基础上。基于高层语义的检索正有待研究。4.1.2应用方法分类①基于颜色特征的检索②基于纹理特征的检索③基于形状特征的检索第4章图像特征提取与分析第4章图像特征提取与分析4.2颜色特征的提取与表示4.2.1引言4.2.2颜色直方图4.2.3颜色矩4.2.4颜色集4.2.5颜色聚合向量4.2.6颜色相关图第4章图像特征提取与分析4.2.1引言颜色特征的特点颜色与图像中包含的物体或场景关系密切；颜色特征对图像尺寸、方向、视角等的依赖性小；需要解决的两个问题选择合适的颜色空间计算颜色特征选择合适的方法将颜色特征量化表示的主要方法颜色直方图、主色调、颜色矩、颜色集、聚类第4章图像特征提取与分析4.2.2颜色直方图设一幅图像包含M个像素，图像的颜色空间被量化成N个不同颜色。颜色直方图H定义为：hi为第i种颜色在整幅图像中具有的像素数。归一化为：iiphiiphM(1)概念第4章图像特征提取与分析(2)特点4.2.2颜色直方图包含了图像中的颜色信息；描述的是不同颜色在整幅图像中所占的比例，而不关心每种颜色的空间位置；通过对图像中的像素进行遍历即可建立；对于平移、旋转、尺度的变化和部分遮挡情况具有不变性；第4章图像特征提取与分析4.2.2颜色直方图(3)建立选择合适的颜色空间由于RGB颜色空间与人的视觉不一致，可将RGB空间转换到视觉一致性空间。除了HSI空间外，还可以采用一种更简单的颜色空间：这里，max=255。1233(max)22(max)4CRGBCRBCRGB第4章图像特征提取与分析4.2.2颜色直方图颜色量化：将颜色空间划分为若干个小的颜色区间，每个小区间成为直方图的一个bin（柱状图中每个柱所在的区间）；方法：向量量化、聚类方法、神经网络方法等；计算落在每个小区间内像素的数量，得到颜色直方图。(3)建立第4章图像特征提取与分析4.2.2颜色直方图(4)区分颜色直方图和灰度直方图灰度直方图示例第4章图像特征提取与分析4.2.2颜色直方图(5)小结优点：计算简单,对平移和旋转不敏感,能简单描述一幅图像中颜色的全局分布。缺点：无法捕捉颜色组成之间的空间关系,丢失了图像的空间信息。第4章图像特征提取与分析4.2.3颜色矩颜色矩是以数学方法为基础的，通过计算矩来描述颜色的分布。颜色矩通常直接在RGB空间计算。颜色分布的前三阶矩表示为：11NiijjPN21211(())NiijijPN31311(())NiijijsPN第4章图像特征提取与分析4.2.3颜色矩特点图像的颜色矩有九个分量（3个颜色分量，每个分量上3个低阶矩）；与其它颜色特征相比非常简洁；分辨力较弱；颜色矩一般和其它特征结合使用，起到缩小范围的作用。第4章图像特征提取与分析定义：设BM是M维的二值空间，在BM空间的每个轴对应唯一的索引m。一个颜色集就是BM二值空间中的一个二维矢量，它对应着对颜色{m}的选择，即颜色m出现时，c[m]=1,否则，c[m]=0。4.2.4颜色集第4章图像特征提取与分析4.2.4颜色集实现步骤：对于RGB空间中任意图像，它的每个像素可以表示为一个矢量。变换T将其变换到另一与人视觉一致的颜色空间，即。采用量化器QM对重新量化，使得视觉上明显不同的颜色对应着不同的颜色集，并将颜色集映射成索引m。,,cvrgbcwccwTvcw第4章图像特征提取与分析与颜色直方图的关系：颜色集可以通过对颜色直方图设置阈值直接生成。如对于一颜色m，给定阈值m，颜色集与直方图的关系如下：因此，颜色集表示为一个二进制向量。4.2.4颜色集1[][]0mifhmcmotherwise第4章图像特征提取与分析4.2.4颜色集颜色集同时考虑了颜色空间的选择和颜色空间的划分。使用颜色集表示颜色信息时，通常采用HSI颜色空间。第4章图像特征提取与分析4.2.5颜色聚合向量颜色直方图的一种演变，核心思想是将属于直方图每个颜色区间的像素分为两部分，如果该区间中的某些像素所占据的连续区域面积大于给定的阈值，则该区域内的像素作为聚合像素，否则为非聚合像素。表示为：其中αi与βi分别代表直方图的第i个bin中聚合像素和非聚合像素的数量。第4章图像特征提取与分析4.2.6颜色相关图不仅刻画了某一种颜色的像素占整个图像的比例，还反映了不同颜色对之间的空间相关性；颜色相关图可以看作是一张用颜色对i,j索引的表，其中i,j的第k个分量表示颜色为c(i)的像素和颜色为c(j)的像素之间的距离小于k的概率；第4章图像特征提取与分析1(),2(),2()12cikijrcjpIpIPpIppk4.2.6颜色相关图设I表示整张图像的全部像素，Ic(i)则表示颜色为c(i)的所有像素。颜色相关图可以表达为：其中i,j∈{1,2,…,N}，k∈{1,2,…,d}，|p1–p2|表示像素p1和p2之间的距离。第4章图像特征提取与分析4.3图像的纹理分析技术纹理纹理指的是图像像素灰度或颜色的某种变化。4.3.1引言Texturetellsusinformationaboutspatialarrangementofthecolorsorintensitiesinanimage.具有周期性；不依赖于颜色或亮度；第4章图像特征提取与分析4.3.1引言几种纹理图像第4章图像特征提取与分析4.3.1引言包含多个纹理区域的图像第4章图像特征提取与分析一些典型的纹理图像4.3.1引言第4章图像特征提取与分析纹理特征纹理特征是从图像中计算出来的一个值，对区域内部灰度级变化的特征进行量化。是一种全局特征，仅利用纹理特征无法获得高层次图像内容。不是基于像素点的特征，需要在包含多个像素点的区域中进行统计计算。具有旋转不变性，且对噪声有较强的抵抗能力。当图像分辨率变化的时候，计算出来的纹理可能会有较大偏差。适用于检索具有粗细、疏密等方面较大差别的纹理图像。4.3.1引言第4章图像特征提取与分析4.3.1引言纹理特征的表示(1)Haralick等用共生矩阵来表示纹理特征；(2)Tamura纹理特征：基于人类对纹理的视觉感知心理学研究；包含6个分量：粗糙度、对比度、方向度、线像度、规整度及粗略度；6个分量对应于心理学角度上纹理特征的6种属性；第4章图像特征提取与分析4.3.1引言纹理分析定义：通过一定的图像处理技术抽取出纹理特征，从而获得纹理的定量或定性描述的处理过程。基本过程：从像素出发，在纹理图像中提取出一些辨识力比较强的特征，作为检测出的纹理基元，并找出纹理基元排列的信息，建立纹理基元模型，然后再利用此纹理基元模型对纹理图像进一步分割、分类或是辨识等处理。第4章图像特征提取与分析4.3.1引言纹理特征描述方法分类（1）统计方法——灰度共生矩阵（2）几何法——纹理基元（3）模型法——构造图像的模型（4）信号处理法第4章图像特征提取与分析纹理特征的提取与匹配4.3.1引言Tamura纹理特征自回归纹理模型小波变换灰度共生矩阵第4章图像特征提取与分析4.3.2Tamura纹理特征基于人类对纹理的视觉感知心理学研究；其6个分量对应于心理学角度上纹理特征的6种属性；粗糙度，对比度，方向度，线像度，规整度以及粗略度；第4章图像特征提取与分析粗糙度1.计算图像中各像素在大小为2k×2k邻域中的均值；4.3.2Tamura纹理特征k=1,2,…,5；g(i,j)是位于(i,j)的像素灰度值11112121222(,)(,)/2kkkkyxkkixjyAxygij第4章图像特征提取与分析2.计算每个像素在水平和垂直方向上互不重叠的窗口之间的均值之差；3.对每个像素，能使E值（无论方向）达到最大的k值用来设置最佳尺寸；粗糙度11,11,(,)(2,)(2,)(,)(,2)(,2)kkkhkkkkkvkkExyAxyAxyExyAxyAxy(,)2kbestSxy4.3.2Tamura纹理特征第4章图像特征提取与分析4.对于整幅图像（大小为m×n）中的每个像素，计算Sbest的平均值得到粗糙度的数值：粗糙度111(,)mncrsbestijFSijmn4.3.2Tamura纹理特征第4章图像特征提取与分析对粗糙度的描述只有一个数值，它反映的是一幅图像平均的粗糙程度。对于纹理图像具有一致基元尺寸时，这种描述是最优的。对具有不同尺寸分布的纹理图像，这种描述将损失大量图像信息。第4章图像特征提取与分析方向度1.计算每个像素的梯度向量，梯度向量的模和方向分别为：2/)/arctan(2/)(HVVHG4.3.2Tamura纹理特征其中两个delta值分别是通过图像卷积下列两个操作符所得到的水平和垂直方向上的变化量定义的：101101101111000111第4章图像特征提取与分析2.构造方向(值)的直方图；该直方图对于具有明显方向性的图像会表现出峰值，对于无明显方向的图像则表现的比较平坦。3.计算图像总体的方向性。再通过一个公式计算直方图中峰值的尖锐程度得到图像总的方向性方向度2()()ppndirpDpwFH4.3.2Tamura纹理特征第4章图像特征提取与分析对比度对比度是通过对像素强度分布情况的统计得到的。1/44conF其中α4=μ4/σ4，μ4是四阶中心矩，而σ2是方差。4.3.2Tamura纹理特征第4章图像特征提取