第三章目标检测方法_1_-6

1图像探测、跟踪与识别技术主讲人：赵丹培宇航学院图像处理中心[e-mail]2012年9月27日2第三章目标检测方法学习目的利用图像捕捉并跟踪感兴趣的目标在日常生活、工业和军事领域中都有广泛的应用，本章通过对目标检测方法基本原理的学习和掌握，将目标的灰度、形状、纹理、频谱、运动等作为主要特征依据，从不同角度全面了解复杂背景中目标探测的方法与过程，并能够在实际中熟练应用。学习的重点基于图像分割技术的目标检测方法基于图像特征匹配的目标检测方法运动目标检测方法3本章的主要内容3.1图像的特征形态与描述3.2目标检测的基本概念与原理3.3利用图像分割技术的目标检测方法3.4利用特征匹配技术的目标检测方法3.5运动目标的检测3.6小目标检测3.7目标检测性能的评价标准43.1图像的特征形态与描述数字图像并不是杂乱的像素数据的组合。它通常包含我们所希望得到的确定性成分和采集过程中所得到的随机成分。每个像素的灰度不仅随坐标的不同而不同，也随时间的变化而变化，是空间坐标和时间的随机场。数字图像度量单位可以有多种，例如整幅画面（帧，场），局部画面（窗口，块），行，列，像素，频率等。图像作为信息的载体，对不同的用途，所关心的图像信息的含义或感兴趣的图像基元不同。比如，远距离红外小目标检测研究时，我们关心的只是目标周围小区域内的信噪比，或图像的信息量等；人脸识别时，可能关心的就是五官的形状和位置关系，至于脸色就不是很重要。53.1.1图像的特征类型1.像素灰度分布图像信号数字化得到一个数值矩阵，其中每一个元素称之为像素，像素的灰（亮）度值（也包括色彩）是最基本、最原始的测量值和特征，由它可以组成更大基元的特征。单幅图像的所有像素或不同区域像素的灰度分布，代表了图像总体或局部的能量强度分布。表征灰度分布的特征描述有总体或局部的均值、方差等。2.图像灰度变化的梯度特征图像灰度的梯度反映图像内物体边缘处灰度变化的情况，它描述了图像灰度分布的总体特征。例如，用图像像素灰度的一阶差分（梯度）的总和表示图像的对比度等。6灰度特征-矩阵形式梯度特征-灰度的突变位置73.图像的频谱特性与一维时间函数波形类似，图像也有空间频率的概念，如果图像的灰度按一定周期变化(相当于周期函数)，那么它的频率就是在某一坐标轴方向上一个单位长度的距离内，周期函数重复出现的次数。周期表示在同一方向上图像波形重复出现的最小距离。而且，图像的傅立叶变换也有明确的物理意义。4.纹理特征图像纹理是像素灰度分布宏观上呈现周期性的结构特征，它是图像中某些结构单元按某种规则排列而成的规则图案，反映图像纹理基元灰度周期性重复变化的规律。因此，纹理基元的大小（或重复变化的周期长短）和重复构成的方向是基本特征。常用的纹理特征描述方法有共生矩阵、等灰度行程长度、区域纹理基元参数、傅立叶频谱、随机场模型、相关长度等。8图像的频谱特征图像的纹理特征95.图像中物体形状特征物体的形状特征是人或机器识别的重要特征之一，在图像中可以采取图像分割的方法，将感兴趣的物体、区域或基元与背景区分开来，然后对它们的外形进行描述，常用的形状特征有面积、周长、圆度、长宽比、矩、边心距、傅立叶描绘子、偏心率和凹度等。6.图像中三维特征图像是三维空间场景能量在二维平面的投影，二维图像中蕴含着场景中物体的三维信息。比如，多面体的各个面光强的差异表现出的立体感，一个球体不会看成平面的圆。图像的三维通常用物体表面的法线方向描述。10图像的形状特征图像的三维特征117.图像的运动特征动态图像或序列图像是我们最常见的、需要快速处理并作出反应的场景图像，“时间”将作为它的另外一个变量。序列视频图像中包含着物体或目标的运动参数，如速度、加速度、方向、姿态、到传感器的距离等变化信息。常用的方法用局部瞬时速度场（光流场）、特征点匹配、运动估计、小平面分析和运动分割等。8.图像距离特征距离图像是一种通过主动成像方式获取的场景三维立体信息，与场景亮度无关。目标图像距离特征对于目标图像识别有着特殊的意义，可以不受天气、伪装、复杂背景等条件的影响，全天候工作，抗干扰能力强。（雷达）129.图像信息描述图像中包含的信息量最关心的是图像度量参数，可以想像所有像素灰度都为同一个数值，我们看到的是一张白纸，获取不了更多的信息，而一幅场景图像却有着丰富的内容，只要你认真去看，将会有无限的信息。信息论中的“熵”可以作为图像信息含量的一种描述，尽管它并不完美。图像的信息度量是复杂的，它与图像的应用目的、观察图像的人或系统的知识、性能有关。10.图像有用和无用成分之比图像中并不是只包含有用的信息，我们总是在图像中提取感兴趣的所谓目标信息，而滤除所有不关心的信息，例如噪声。感兴趣的目标信息与所有不关心的信息成分的比率或差别越大，提取就越容易。典型的度量指标是信噪比，即目标信号幅度除以背景信号的标准差。13图像的运动特征－什么是运动图像？•与静态图像相比，动态图像的基本特征就是灰度的变化。•在对某一场景拍摄到的图像序列中，相邻两帧图像间至少有一部分像元的灰度发生了变化，这个图像序列就称为动态图像序列。•与单幅图像不同，连续采集的图像序列能反映场景中目标的运动和场景的变化。场景的变化和景物的运动在序列图像中表现得比较明显和清楚。•序列图像是由一系列时间上连续的二维图像组成的，或者说是一类三维图像。与静止图像相比，序列图像增加了时间变量，当时间变量取某个特定值时，就得到视频图像中的一帧图像。•图像序列和运动信息有密切的联系，将从运动场景获得的序列图像或者在序列中目标位置发生变化的图像称为运动图像。14举例：运动与视觉实验1959年著名心理学家Gibson在美国康乃尔大学对自然人进行了运动知觉实验：在两张透明的胶片上绘出相似的随机点图图案。一张静止地垂直放置，人们什么也区分不出来；而另一张也是垂直放置，但是让其沿水平方向进行平移运动。这时奇迹出现了，人们在移动着的胶片上区分出了有两块远近不同的平面，随机点图表示的场景被轻易地分割开来了。这证实了一些在静止时不易被察觉的形状当移动时就可以被知觉，这与人们通过自身包括研究的运动实现形状知觉是异曲同工的。静止图像只是空间位置的函数，它与时间变化无关。在现有条件下，用单幅静止图像无法表达物体和自身的运动。运动图像通常是一种按时间顺序排列的瞬间采样图像序列。图像中的变化可能是由于目标物体的运动，也可能是相机的运动、光源的变化、物体结构的变化等等。15全局运动和局部运动各有其自身特点。全局运动具有整体性强、比较规律的特点，可能仅用一些特征或一组含若干个参数的模型就可表达。局部运动比较复杂，特别是在多目标的情况下，各目标可能做不同运动，目标的运动仅在空间小范围表现出一定的一致性，因此比较精细的方法才能够准确地表达目标的运动。下面就具体介绍一下各种运动的表达形式和方法，常用的有以下几种：1．运动矢量场表达2．运动直方图表达3．运动轨迹表达•运动的表达161．运动矢量场表达运动既有大小，也有方向，所以需要用矢量来表示，为表示瞬时运动矢量场，将每个运动矢量用无箭头的线段来表示，线段长度与矢量大小及运动速度成正比，并叠加在原始图像上。2．运动直方图表达这种方法的基本思路是仅保留运动方向信息以减少数据量，将0～360度的运动方向划分为若干间隔，把用矢量场上每一点的数据归到与它的运动方向最为接近的间隔。3．运动轨迹表达目标的运动轨迹表达了目标在运动过程中的位置信息，由一系列关键点和一组在这些关键点间进行插值的函数构成。关键点用2D或3D坐标值来表达，插值函数分别对应各坐标轴（水平、垂直和深度方向）。17515181461216140246810121416182004590135180225270315x(t)ABCOt0t1t2t3t4t运动直方图的表达运动轨迹的表达运动矢量场的表达183.2目标检测的基本概念与原理目标检测的分类：目标检测从目标特性角度分为单幅静止图像检测和运动目标检测；运动目标检测又分为静止背景下的运动目标检测和运动背景下的运动目标检测。静止目标检测通常是利用单帧图像信息，对于大目标，可以利用图像分割或特征匹配等方法提取出目标，但对于低对比度、低信噪比的小目标，利用单帧信息很难检测出有效目标。运动目标可以利用图像的运动序列信息，与单幅图像不同，连续采集的图像序列能反映场景中目标的运动和场景的变化情况，更有利于小目标的探测。19第一类是基于像素分析的方法，主要有基于图像分割的方法、帧间差分方法、相关算法、光流法、滤波法等；第二类是基于特征匹配的方法，主要利用的特征有：角点、直边缘、曲边缘等局部特征和形心、表面积、周长、投影特征等全局特征，还有SIFT、SURF等；第三类是基于频域的方法，较典型的是基于傅立叶变换和基于小波变换的方法。第四类是基于识别的检测方法，较典型的是基于边缘碎片模型的目标检测识别方法，基于Adaboost的目标检测识别方法等；常用的目标检测方法分为四类：203.3利用图像分割技术的目标检测方法图像分割的目的：把图像分解成构成它的部件和对象；有选择性地定位感兴趣对象在图像中的位置和范围。图像分割的基本思路：从简到难，逐级分割控制背景环境，降低分割难度注意力集中在感兴趣的对象，缩小不相干图像成分的干扰。图像分割的基本方法：基于阈值的图像分割基于形态学的图像分割基于边缘的图像分割基于区域的图像分割21提取轮廓车牌定位车牌识别图像分割的基本策略：把像素按灰度划分到各个物体对应的区域中去；先确定边缘像素点，然后将它们连接起来构成所需的边界；确定存在于区域间的边界；22图像分割定义：将数字图像划分成与实际目标或区域紧密相关的若干区域的过程。图像分割与整个图像分析系统的关系预处理图像分割特征提取目标识别目标跟踪目标测量233.3.1基于阈值的图像分割方法阈值分割是一种广泛使用的图像分割技术，它对目标与背景有较强对比的景物的分割特别有用。它计算简单，而且总能用封闭而且连通的边界定义不交叠的区域。它利用了图像中要提取的目标与其背景在灰度特性上的差异，把图像视为具有不同灰度级的两类区域（目标和背景）的组合。025525502550255255255首先要确定一个合适的阈值T（阈值选定的好坏是成败的关键）将灰度大于等于阈值的像素作为物体或背景，生成一个二值图像Iff(x,y)Tset255Elseset0在四邻域中有背景的像素，即是边界像素。24⑵、几种常用的基于阈值分割的检测方法直方图分割法基于灰度期望值的阈值分割最大类间方差阈值分割循环分割方法最大熵阈值分割基于模糊隶属度的阈值分割25当图像的灰度直方图为双峰分布时，分割比较容易，只须取其谷点作为门限值，就能将目标与背景分割开来。基于直方图谷点门限的分割方法1,,,0,,fxyTHgxyfxyTH26应用直方图双峰法来分割图像,需要有一定的图像先验知识,因为同一个直方图可以对应不同的图像,直方图只表明图像中各个灰度级上有多少个像素,并不能描述这些像素的位置信息。因此只根据直方图选择阈值并不一定合适，还要结合图像的内容来确定。此外，该方法不适用于单峰或多峰直方图的情况。27最大类间方差阈值分割最大类间方差法由Ostu提出，是在最小二乘法原理的基础上推导得出，又叫大津阈值法。设原始灰度图像的灰度级为L，灰度级为i的像素点数为，图像的全部像素为N,归一化直方图，则101LiipiinpN00tiipt1111Liitpt000tiiiptt11111Liittiptin用阈值t将灰度级划分为两类：和和类的出现概率及均值分别为：00,1,Ct11,2,,1CttL1C0C28和的方差为：类间方差为：引入关于的等价的判决准则：最佳阈值：t1C0C020020/)(itipi1211121/)(iLti