搜索
1MediaComputingCS@BIT第三章图像特征提取与表示计算机学院计算机系裴明涛peimt@bit.edu.cn2MediaComputingCS@BIT思考题•什么是特征？•如何将一幅特定的图像和其他图像区分开？3MediaComputingCS@BIT4MediaComputingCS@BIT5MediaComputingCS@BIT6MediaComputingCS@BIT主要内容1.图像颜色特征的提取与表示2.图像纹理特征的提取与表示3.图像形状特征的提取与表示4.图像空间关系特征的提取与表示5.通过变换生成特征6.图像形似度的比较方法7.图像特征的性能评价7MediaComputingCS@BIT1.图像颜色特征的提取与表示•图像检索中应用最为广泛颜色与图像中包含的物体或场景关系密切；颜色特征对图象的尺寸，方向，视角等的依赖性小；•选择合适的颜色空间计算颜色特征•选择合适的方法将颜色特征量化8MediaComputingCS@BIT颜色直方图•包含了图象中的颜色信息；•描述的是不同颜色在整幅图像中所占的比例，而不关心每种颜色的空间位置；•通过对图象中的象素进行遍历即可建立；•对于平移，绕光轴的旋转，尺度的变化和部分遮挡情况具有不变性；9MediaComputingCS@BIT颜色直方图的建立•颜色量化：将颜色空间划分为若干个小的颜色区间；均匀量化，矢量量化等；•计算落在每个小区间内的象素的数量；10MediaComputingCS@BIT灰度直方图示例11MediaComputingCS@BIT颜色矩∑∑∑===−=−==NjiijiNjiijiNjijipNspNpN131312121))(1())(1(1μμσμ12MediaComputingCS@BIT•图像的颜色矩有九个分量（3个颜色分量，每个分量上3个低阶矩）；•与其他颜色特征相比非常简洁；•分辨力较弱；•颜色矩一般和其他特征结合使用，起到缩小范围的作用；13MediaComputingCS@BIT颜色聚合向量•颜色直方图的一种演变，核心思想是将属于直方图每个颜色区间的像素分为两部分，如果该区间中的某些像素所占据的连续区域面积大于给定的阈值，则该区域内的像素作为聚合像素，否则为非聚合像素。表示为：),(),,(),,(2211nnβαβαβαL14MediaComputingCS@BIT颜色相关图•不仅刻画了某一种颜色的象素占整个图像的比例，还反映了不同颜色对之间的空间相关性；•颜色相关图可以看作是一张用颜色对i,j索引的表，其中i,j的第k个分量表示颜色为c(i)的象素和颜色为c(j)的象素之间的距离小于k的概率；15MediaComputingCS@BIT纹理特征•纹理是指图像强度局部变化的重复模式；•Texturetellsusinformationaboutspatialarrangementofthecolorsorintensitiesinanimage；16MediaComputingCS@BIT包含多个纹理区域的图象17MediaComputingCS@BIT一些典型的纹理图象18MediaComputingCS@BITTamura纹理特征•基于人类对纹理的视觉感知心理学研究；•其6个分量对应与心理学角度上纹理特征的6种属性；•粗糙度，对比度，方向度，线像度，规整度以及粗略度；19MediaComputingCS@BIT粗糙度1.计算图像中各象素在大小为2K×2K邻域中的均值；∑∑−+−=−+−=−−−−=122122211112/),(),(kkkkxxiyyjkkjigyxAk=0,1,2,3,4,520MediaComputingCS@BIT2.计算每个象素在水平和垂直方向上互不重叠的窗口之间的均值之差；)2,()2,(),(),2(),2(),(11,11,−−−−−−+=−−+=kkkkvkkkkkhkyxAyxAyxEyxAyxAyxEkbestyxS2),(=3.对每个象素，能使E值达到最大的K值用来设置最佳尺寸；21MediaComputingCS@BIT4.可由整幅图像中各像素的最佳尺寸的均值来得到粗糙度。∑∑==×=minjbestcrsjiSnmF11),(15.也可用直方图来描述最佳尺寸的分布，从而能够表达具有多种纹理特征的图像，对检索更为有利。22MediaComputingCS@BIT方向度1.计算每个象素的梯度向量，梯度向量的模和方向分别为：2/)/arctan(2/)(πθ+ΔΔ=Δ+Δ=ΔHVVHG23MediaComputingCS@BIT•其中两个delta值分别是通过图像卷积下列两个操作符所得到的水平和垂直方向上的变化量定义的：101101101−−−111000111−−−24MediaComputingCS@BIT2.构造方向(θ值)的直方图；该直方图对于具有明显方向性的图像会表现出峰值，对于无明显方向的图像则表现的比较平坦。3.计算图像总体的方向性。再通过下式计算直方图中峰值的尖锐程度得到图像总的方向性)()(2φφφφDnpwpdirHFpp∑∑∈−=25MediaComputingCS@BIT灰度级同现矩阵•灰度级同现矩阵P[i,j]是一个二维相关矩阵，规定一个位移矢量d=(dx,dy),计算被d分开且具有灰度级i和j的所有象素对的个数。2120102112i02201220j212122012322010126MediaComputingCS@BIT左边为棋格图像，中间为位移矢量为d=(1,1)的灰度级同现矩阵，右边为位移矢量为d=(1,0)的灰度级同现矩阵。P[i,j]与像素对的总数之比称为归一化矩阵；iijj12400i10280i4956025128010101jjd=(1,1)时的P[i,j]d=(1,0)时的P[i,j]101010100101010110101010010101011010101001010101101010100101010127MediaComputingCS@BIT•灰度级同现矩阵表示了图像灰度空间分布；•由于具有灰度级[i,j]的像素对数量不需要等于灰度级[j,i]的像素对数量，因此，灰度级同现矩阵是非对称矩阵；28MediaComputingCS@BIT用于测量灰度级分布随机性的一种特征参数叫做熵，定义为：(以下计算均针对归一化同现矩阵)用灰度级同现矩阵还可以定义能量特征、对比度特征和均匀度特征：∑∑−=ijjiPjiP],[log],[熵∑∑=ijjiP],[2能量∑∑−=ijjiPji],[)(2对比度∑∑−+=ijjijiP||1],[均匀度29MediaComputingCS@BIT•熵值是图像内容随机性的量度，熵值大表示随机性比较强；•能量参数反映了区域图像的均匀性或平滑性，能量小则图像比较均匀或平滑；•对比度是反映图像点对中前后点间灰度差的度量，灰度差大的点对大量出现则对比度增大，图像较粗糙，反之图像较柔和；•均匀度反映图像的均匀程度；30MediaComputingCS@BIT•灰度级同现矩阵的优点：灰度级同现矩阵特别适用于描述微小纹理；易于理解和计算；•灰度级同现矩阵的缺点：不适合描述含有大面积基元的纹理，因为矩阵没有包含形状信息；矩阵的大小只与最大灰度级有关系，而与图像大小无关；31MediaComputingCS@BIT形状特征•形状特征的表达必须以对图像中物体或区域的分割为基础；•由于当前的技术无法做到准确而稳健的自动图像分割，所以形状特征只能应用在某些特定的场合；•形状特征必须满足对变换、旋转和缩放无关；32MediaComputingCS@BIT•形状特征的轮廓表示法：用物体或区域的外边界来表示；边界的长度，直径；边界的曲率；傅立叶描述符；基于内角的表示法；•形状特征的区域表示法：用物体的区域的整体性质来表示；区域面积，区域重心，区域灰度等；33MediaComputingCS@BIT边界的曲率•曲率是斜率的改变率，描述了边界上各点沿边界方向的变化情况；•某个边界点的曲率的符号描述了边界在该点的凹凸性；•直接计算边界的曲率由于边界的粗糙不平而变得不可靠；•用线段逼近边界后计算线段交点处的曲率比较可靠；34MediaComputingCS@BIT傅立叶描述符•用复数的形式来表示边界上的每个点；35MediaComputingCS@BITN个点组成的封闭边界：对其进行离散傅立叶变换：用前M个系数近似边界：36MediaComputingCS@BIT用傅立叶描述符近似的表示边界37MediaComputingCS@BIT基于内角的表示法•与形状所在的位置、旋转、大小无关；•需要将形状近似表达成多边形的形式；•基于内角的形状可以表示为：顶点数；内角平均值及方差；内角直方图。38MediaComputingCS@BIT形状特征的区域表示法•区域面积；描述区域的大小，通过对属于区域的象素进行计数得到；•区域重心；区域内点的坐标的均值；•区域灰度；描述区域的灰度特性，包括灰度（或各种颜色分量）的最大值，最小值，均值，方差等；39MediaComputingCS@BIT形状无关矩•形状无关矩(MomentInvariants)是基于区域的物体形状表示方法。假设R是用二值图像表示的物体，则R形状的第p+q阶中心矩为:•其中(xc，yc)是物体的中心。∑∈−−=Ryxqcpcqpyyxx),(,)()(μ40MediaComputingCS@BIT三维形状的表示•SpinImage41MediaComputingCS@BIT图像空间关系特征•表示了图像中存在的各种物体及其空间关系的特征；•提取空间关系特征的方法：基于图像分割的方法基于图像子块的方法42MediaComputingCS@BIT•基于图像分割的方法：符号图像：将图像中每个对象用质心坐标和一个符号名字代表，从而构成整幅图像的索引。图像分割方法：•基于边界的方法•基于区域的方法43MediaComputingCS@BIT•图像分割：把图像分成各具特性的区域并提取出感兴趣目标的技术和过程；•图像分割是由图像处理进到图像分析的关键步骤；•对灰度图像的分割主要基于象素灰度值的2个性质：不连续性和相似性；•基于边界的方法（基于不连续性）；•基于区域的方法（基于相似性）；44MediaComputingCS@BIT基于阈值的图像分割方法•灰度图像时输入的每点为标量，彩色图像为表示颜色的矢量，实质是对每一个象素点确定一个阈值，阈值两边分别是前景和背景点；•适用于前景与背景有较强对比的景物分割，计算简单；•不适用于复杂景物的正确分割，如自然场景；•阈值方法分全局阈值和局部阈值两种，如果认为图像上各点的阈值都相等，则为全局阈值方法；如果每象素点的阈值不同，则为局部阈值方法。45MediaComputingCS@BIT通过变换生成的特征•变换是指改变数据的表达形式，把给定的测量集变换为新的特征集。•描述数据的量称为特征，而原始的量称为属性，选择最合适表达式的任务称为特征选择。•空间X是指输入空间，而称为特征空间。))(),...,(()()...,,(121xxxxNnxxxφφφ=→=}|)({XxxF∈=φ46MediaComputingCS@BIT简化分类任务的特征映射47MediaComputingCS@BIT•目前存在很多的特征选择方法。通常要寻找包含了原始属性中必要信息的最小特征集，即所谓的维数简约：•例如考虑两个物体间的万有引力定律，假定属性是与位置有关的三个成份，再加上两个质量：•另一个不同的特征选择任务是检测出无关特征并将其去除。nNxxxNn=→=)),(),...,(()()...,,(121xxxxφφφ),,,,,,,(21222111mmppppppzyxzyx=x),,)(()(),,,,,,,(21,,22121222111mmppmmppppppzyxiiizyxzyx∑∈−=→=