搜索
第八章纹理分析与合成Chapter8TextureAnalysisandSynthesisComputerVisionDepartmentofComputerScience@BIT一些典型的纹理图象ComputerVisionDepartmentofComputerScience@BIT包含多个纹理区域的图象ComputerVisionDepartmentofComputerScience@BITflowerbeeren一些彩色纹理图像waterfoodComputerVisionDepartmentofComputerScience@BIT纹理（Texture）•纹理是一种普遍存在的视觉现象，我们可以去感受纹理，却很难对纹理的精确定义形成统一的认识，目前多根据应用需要做出不同定义．•两种较常采用的定义：定义1按一定规则对元素（elements）或基元（primitives）进行排列所形成的重复模式.定义2如果图像函数的一组局部属性是恒定的，或者是缓变的，或者是近似周期性的，则图象中的对应区域具有恒定的纹理．ComputerVisionDepartmentofComputerScience@BIT纹理•纹理的基本特征纹理是区域属性，并且与图像分辨率（或称尺度，resolutionorscale）密切相关纹理具有重复性、规则性、方向性等等ComputerVisionDepartmentofComputerScience@BIT纹理分析与合成•纹理分析（textureanalysis）：包括纹理分类(textureclassification)、纹理分割(texturesegmentation)和从纹理恢复形状(shapefromtexture).应用于产品检验，医学图像分析，文档处理，遥感图像分析…•纹理合成（texturesynthesis）:由基元合成纹理图像.应用于图形绘制(graphrendering)、图像压缩(imagecompression)和纹理分析.ComputerVisionDepartmentofComputerScience@BIT纹理分割与分类•纹理分割确定图像中纹理的边界，两种途径：基于区域的技术和基于边界的技术。•纹理分类确定纹理区域或图像的类别.纹理图象纹理分类纹理分割ComputerVisionDepartmentofComputerScience@BIT纹理合成合成图像（一次迭代）合成图像（四次迭代）合成图像（初始）海洋图像ComputerVisionDepartmentofComputerScience@BIT纹理分析与合成方法•统计方法（statisticalmethods）利用纹理在空间上的灰度分布特性：灰度级同现矩阵，自相关函数•结构方法（structuralmethods）利用基元排列成纹理的特点：基于基元特征或基元组合规则ComputerVisionDepartmentofComputerScience@BIT纹理分析与合成方法•基于模型的方法（modalbasedmethods）假设一幅纹理图像是一类参数模型的实例：Markov(Gibbs)随机场，分形(fractal)•信号处理方法（signalprocessingmethods）根据纹理的周期性，采用滤波方法处理：空域滤波、频域滤波（Fourier变换，Gabor变换，小波变换）ComputerVisionDepartmentofComputerScience@BIT8.1统计方法•统计方法研究纹理在空间上的灰度分布特征灰度级同现矩阵（greylevelco-occurrencematrices，GLCM）自相关性函数（autocorrelationfunction）•用下式表示一幅图像ComputerVisionDepartmentofComputerScience@BIT8.1.1灰度级同现矩阵•对于具有G个灰度级的图像，受位移矢量控制的灰度级同现矩阵是一个的矩阵，矩阵行列表示各个灰度级，矩阵元素反映两种灰度在相距一定距离的位置上同时出现的次数，具体按下式计算：(Haralick,1979)ComputerVisionDepartmentofComputerScience@BIT灰度级同现矩阵•例12120102112i02201220j2121220123220101左边为一幅5×5的图象，具有三个灰度级，右边为灰度级同现矩阵，位移矢量d=(1,1)012012ComputerVisionDepartmentofComputerScience@BIT灰度级同现矩阵•例21010101001010101101010100101010110101010010101011010101001010101iijj12400i10280i4956025128010101jjd=(1,1)时的P[i,j]d=(1,0)时的P[i,j]左边为棋格图像，中间为位移矢量为d=(1,1)的灰度级同现矩阵，右边为位移矢量为d=(1,0)的灰度级同现矩阵。ComputerVisionDepartmentofComputerScience@BIT基于灰度级同现矩阵的纹理特征•灰度级同现矩阵在一定程度上反映了纹理图像中各灰度级在空间上的分布特性，如果灰度级同现矩阵集中于对角线上，则对应位移矢量接近于该纹理中基元的排列规则．•在灰度级同现矩阵的基础上，可定义多种纹理特征.•基于灰度级同现矩阵的纹理特征是纹理分析领域中广为人知和最经常采用的特征之一，主要用于纹理分类，在纹理分割中使用较少.ComputerVisionDepartmentofComputerScience@BIT纹理特征公式墒(entropy)能量(energy)对比度(contrast)均匀度(homegeneity)相关性(correlation)ComputerVisionDepartmentofComputerScience@BIT灰度级同现矩阵的问题与发展•问题位移矢量是定义灰度级同现矩阵的重要参数，但缺乏选择位移矢量的有效方法.•发展自适应多尺度灰度级同现矩阵(adaptivemulti-scaleGLCM)：种子区域增长基于遗传算法的GLC特征提取(geneticalgorithmbasedGLCfeatureextraction):用遗传算法实现高斯加权优化ComputerVisionDepartmentofComputerScience@BIT8.1.2自相关函数•图像的自相关函数(autocorrelationfunction)定义如下：()()()()()()∑∑∑∑==−=−=++−−=NuNvxNuyNvdvuINyvxuIvuIyNxNyxP112211,1,,1,•自相关函数的周期性反映纹理基元重复出现的周期性；其下降速度反映纹理基元的粗细度(coarseness)：纹理粗，则缓降；纹理细，则速降.规则纹理的自相关函数具有峰值和谷值，可用于检测纹理基元的排列情况.ComputerVisionDepartmentofComputerScience@BIT纹理粗细度与自相关函数的关系示意图ComputerVisionDepartmentofComputerScience@BIT自相关函数•自相关函数与Fourier变换存在联系.事实上，自相关函数可在频域中计算，而且效率更高.规则纹理的Fourier对数谱同一纹理的自相关函数ComputerVisionDepartmentofComputerScience@BIT8.2结构方法•结构方法认为纹理基元的规则排列构成纹理，因此根据基元来分析与合成纹理，包括两种策略：1.计算各个基元的统计特征，作为纹理特征，如平均强度、面积、周长、方向、离心率…2.基于基元组合规则分析与合成纹理：图模型、树文法等等•结构方法的主要问题是纹理基元的提取，常利用纹理区域灰度一致的特点，用多尺度LoG滤波进行提取。ComputerVisionDepartmentofComputerScience@BIT8.3基于模型的方法•建立纹理图像的参数模型，该模型不仅可以用于表示纹理，而且可以用于合成纹理．纹理合成主要采用基于模型的方法．•主要问题是估计模型参数，使根据模型合成的纹理图像逼近原纹理图像.•两种模型Markov随机场（Markovrandomfield,orGibbsrandomfield）分形（fractal）ComputerVisionDepartmentofComputerScience@BIT8.3.1Markov随机场•Markov随机场是图像建模的重要工具，在纹理合成、纹理分析、图像分割、图像增强、图像压缩中有广泛应用．(J.Besag,1974)•预备知识（标注问题，labelingproblem）位(site)集合：标志(label)集合，位上可能发生事件的集合，可以是连续的，也可以是离散的：RXXLhlc⊂=],[],,,[21ndlllLΛ=，{}mS,,2,1Λ=ComputerVisionDepartmentofComputerScience@BITMarkov随机场•标注是为位集合中的每个位指定一个标志的过程，可以认为是在位集合和标志集合之间建立一种映射：LSf→:()mffff,,,21Λ=ComputerVisionDepartmentofComputerScience@BITMarkov随机场•标注就是从如下空间中导出的过程：,21mLLLΛ×=FmmLLLL====F时，当Λ21在图象领域中，可将理解为一幅图象，则是全部可允许图像的集合.显然，如果没有任何约束，标注是没有意义的.fFFf•标注也被称为着色(coloring，数学规划)或配置(configuration，随机场)•如果各个位为随机变量，则位集合称为随机场.SComputerVisionDepartmentofComputerScience@BITMarkov随机场•在随机场中，从导出的过程就是确定出现的概率，即各个位标注值的联合概率.•假设各个位的标注是彼此无关的，则有()ifPfP∏=)({}()iiifPffP=′)(，只需单独考虑每个位，问题简单（理想）Fff•实际应用时，需要考虑上下文约束(contextualconstraints)ÆMarkov随机场ComputerVisionDepartmentofComputerScience@BITMarkov随机场•当且仅当以下两个条件满足时，随机场为Markov随机场：()0fP正性（Positivity）；{}()()iNiiSiffPffP=−Markov性(Markovianity)•Markov随机场是Markov随机过程的推广，除了考虑历史信息的影响外，还考虑未来信息的影响.ComputerVisionDepartmentofComputerScience@BITMarkov随机场•邻域系统(neighboringsystem)邻域集(neighborset)：一阶邻域（四连通），二阶邻域（八连通）等团(cliques)：由邻域关系限定的位子集单位团(single-site)，双位团(pair-site)，三位团(triple-site)等{}{}{}{}{}互为邻居iiiiiiCiiCiC′′′′′′=′==,,,,,,,,321团是有序的:{}{}iiii,,′≠′ComputerVisionDepartmentofComputerScience@BITMarkov随机场•邻域•团团具有尺寸,形状和方向•Markov随机场是用条件分布表示的，实现起来比较困难.ComputerVisionDepartmentofComputerScience@BITGibbs随机场•当且仅当随机场的配置服从Gibbs分布时，称为Gibbs随机场:()()fUTezfP11−=规范化常量，称为划分函数（partitionfunction）()∑∈−=FffUTeZ1T：