目标检测与跟踪

1/124第九章图像目标探测与跟踪技术主讲人：赵丹培宇航学院图像处理中心[e-mail]电话：823399722/1249.1概论9.2目标检测与跟踪技术的发展现状9.3目标检测与跟踪技术的典型应用9.4图像的特征与描述9.5目标检测方法的基本概念与原理9.6目标跟踪方法涉及的基本问题目录3/1249.1概论1、课程的学习目的学习和掌握目标探测、跟踪与识别的基本概念和术语，了解一个完整信息处理系统的工作流程，了解目标探测、跟踪与识别在武器系统、航空航天、军事领域的典型应用。了解目标检测、跟踪与识别涉及的关键技术的发展现状，为今后从事相关的研究工作奠定基础。2、主要参考书：《目标探测与识别》，周立伟等编著，北京理工大学出版社；《成像自动目标识别》，张天序著，湖北科学技术出版社；《动态图像分析》，李智勇沈振康等著，国防工业出版社；4/124•现代军事理论认为，掌握高科技将成为现代战争取胜的重要因素。以侦察监视技术、通信技术、成像跟踪技术、精确制导技术等为代表的军用高科技技术是夺取胜利的重要武器。•成像跟踪技术是为了在战争中更精确、及时地识别敌方目标，有效地跟踪目标，是高科技武器系统中的至关重要的核心技术。•例如：一个完整的军事战斗任务大致包括侦察、搜索、监视以及攻击目标和毁伤目标。那么快速的信息获取和处理能力就是战争胜利的关键，因此，目标的实时探测、跟踪与识别也成为必要的前提条件。引言：学习目标检测与跟踪技术的意义5/124•随着现代高新技术的不断发展及其在军事应用领域中的日益推广，传统的作战形态正在发生着深刻的变化。1973年的第四次中东战争，1982年的英阿马岛之战，1991年的海湾战争及1999年的科索沃战争，伊拉克战争等都说明了这一点。西方各军事强国都在积极探索对抗武器，特别是美国更是投入了巨大的物力、人力和财力积极研制弹道导弹防御系统。而图像检测、跟踪和识别算法作为现代战场信息环境作战成败的关键，具备抗遮挡、抗丢失和抗机动鲁棒性的智能跟踪器，将是现代战场作战必备品，具有广泛的应用前景。6/124目标检测跟踪是近年来计算机视觉领域中备受关注的前沿方向，它从包含运动目标的图像序列中检测、识别并跟踪目标，并对其行为进行理解和描述。目标分析的研究涉及到模式识别、图像处理、计算机视觉、人工智能等学科的内容。随着现代信息处理技术的发展，目标检测跟踪在军用、民用及医学等方面具有重要意义，具有广泛的应用前景和潜在的经济价值已成为一项极为重要和基本的技术。然而，由于景物的多样性和复杂性，在工程应用中仍有许多问题有待解决。什么是目标检测跟踪？9.1.1目标检测跟踪的含义7/124什么是目标检测跟踪系统？目标检测跟踪系统是对指定目标区域进行实时自动跟踪，实时解算出目标在图像场景中的精确位置，并输出目标偏离系统视轴的方位和俯仰误差信号，通过伺服控制回路，驱动稳定平台跟踪目标。同时，图像跟踪系统接收来自外部控制系统的控制命令和数据，并按总体通讯协议要求向外部控制系统回送跟踪系统的状态、图像数据和关键参数。实现目标跟踪的关键在于完整地分割目标、合理地提取特征和准确地识别目标，同时要考虑算法实现的时间，保证实时性。8/1249.1.2什么是信息获取技术信息获取技术：地球上的所有物质都对外界辐射自己独特的信息－某一部分的电磁波谱，包括自发辐射和反射日光辐射。通过传感器接收这些信息，再通过各种信息分离、提取、增强、融合、识别等手段最终达到应用的目的。信息获取技术的手段：电视传真、遥感技术、光纤通信、光学与光电子成像和雷达技术信息获取技术的分类：信息获取技术分为被动信息获取技术和主动信息获取技术。9/124被动信息获取技术：红外热成像、微光以及可见光；主动信息获取技术：发射电磁波、用人造光源照射被探测目标（或红外线辐射源）。•从广义上的视觉按照整个电磁波谱分：长、短波无线电波、微波、毫米波、红外、可见光、紫外直到X射线。相应的军事目标的载体特征：以无线电波为载体的雷达、以微波为载体的微波雷达和合成孔径雷达、以毫米波为载体的的毫米波雷达、以红外辐射为载体的热像仪、以光波为载体的微光、可见光相机和以紫外辐射为载体的紫外相机；以听觉为代表的是声纳技术10/124军事目标信息的时效特征：•一种是通常意义上的军事目标的监视和侦察，如发现机场、港口、车站、兵营、阵地、水面舰队以及侦察装备情况。这种信息的时效期相对比较长，一般以天甚至以月计。它对应的信息处理就是事后处理或半实时处理。•另一种是实战时的军事信息，时效特征比前者要严峻得多。一个军事信息早一分钟还是晚一分钟到达指挥官手中，可能决定战役的成败，过时的信息价值等于零。它对应的信息处理就是实时信息处理或准实时处理。11/124微光、热成像和雷达技术的特点和优势：微光夜视技术微光夜视技术是研究在夜间低照度条件下，用开拓观察者视力的方法以实现夜间隐蔽观察的一种技术，它采用光电子成像的方法来缓和或克服人眼在低照度以及有限光谱响应下的限制，以开拓人眼的视觉。它利用夜视和热成像技术。一、利用夜天自然微光的反射辐射，即研究被动微光技术，使微弱照度下的目标成为可见；二、利用场景中物体本身的热辐射，研究被动红外技术，使热目标成为可见。12/124热成像技术红外图像是通过红外传感器接收由物体表面发出或者反射的红外光谱段图像，可以提供可见光图像所不能提供的很多重要信息。热成像技术的成像原理是基于目标本身的热辐射，通常采用3～5um和8～14um两个波段。红外探测不仅在夜间，也可以在白天、在恶劣气候条件下甚至全暗情况下进行观察。其特点是可进行全天候观察、作用距离远，具有穿透烟、雾、霾、雪等限制，主动红外可以在战场强光干扰下工作，甚至可以透过树叶、伪装网和迷彩等观察目标，具有较高的识别伪装能力和较高的隐蔽性。与可见光图像相比，红外图像噪声大，场景中目标的特征量不丰富且不易于提取，常用的视觉分析方法难以有效应用，这些客观缺陷的存在给红外目标检测和跟踪算法的研究带来了很大障碍。13/124雷达技术雷达就是无线电探测与测距，它可以测量空中、地面及水上目标的位置，又叫无线电定位。雷达利用定向天线向空中发出无线电波，电波遇到目标后，反射回来被雷达所接受，通过测量电波在空中传播所经历的时间以获得目标的距离数据根据天线波束指向以确定目标的角度数据。雷达的突出优点是覆盖范围大，作用距离远，穿透烟雾能力强，缺点是主动探测，容易暴露自己，被敌方发现并干扰，分辨力低，易受反辐射导弹攻击。雷达的革命-SAR合成孔径雷达（SAR）可以逼真地显示目标的形状、尺寸、运动状态及姿态，突破了原有雷达只能获取目标的距离方位、俯仰和速度的四维信息的局限。14/124雷达的应用地对空导弹系统采用雷达测量目标与导弹在空中的相对位置，通过计算得出导弹的最佳飞行路线，据此发出无线电指令，控制导弹接近目标。飞机装有雷达能看到地面上的江河、湖泊、城镇、工厂、机场、铁道等地物，可用作飞机飞行和着陆的导航及轰炸瞄准。舰艇装有雷达能在雾中看到周围海面的情况，可防止敌舰袭击和避免船舶相撞、触礁，使舰艇安全航行和进港。炮兵利用雷达控制高炮跟踪瞄准敌机，提高炮火的命中率，还能计算出敌方的炮兵阵地位置。以X射线、紫外、可见、红外直到亚毫米波等辐射的探测和处理，统称为光电子成像技术。15/124目标获取的含义：使目标所在位置的探测和目标辨别到所希望的等级，即从探测到分类、识别和确认。目标的探测与识别是一个复杂的、涉及人眼-大脑的图像翻译过程的问题。辨别的最低等级是分辨有无，最高等级是对特定目标的精确确认与描述。例如：一架飞机在晴朗的天空中飞行是很容易探测到的，但一辆车辆在复杂背景的丛林中穿行,探测起来就非常困难，而且识别一辆车辆的前提条件是我们已经探测到它了，因此，只有在被探测到的情况下才能谈识别问题。9.1.3基本概念与术语16/124目标的上下文信息和附加信息也是检测和识别的重要依据。如果探测到的目标是一个运动的斑点目标，无法通过纹理和轮廓信息来识别出它的类型，那么可以借助它的背景环境来判断。例如：如果它出现中一条公路上，它的合理概率就是一辆车；如果它在湖泊中就可能是一艘船；如果在天空中，就可能是飞机或是飞鸟…….17/124用于描述目标的术语:目标截获(TargetAcquisition)：将位置不明确的目标图像定位，并按所期望的水平辨别它的整个过程。目标获取包括搜寻过程和辨别过程。搜寻过程的结果是确定目标的位置，辨别过程的结果是目标被捕获。搜寻(Search)：利用器件显示或肉眼视觉搜索含有潜在的目标的景物，以定位捕获目标的过程。位置确定(Localize)：通过搜寻过程确定出目标的位置。18/124辨别(Discrimination)：物体(目标)在被观察者所察觉的细节量的基础上确定看得清的程度。辨别的等级分为探测、识别、确认探测(Detection)：分为纯探测和辨别探测。纯探测是在局部均匀的背景下察觉一个物体；而在完成辨别探测时，需要认出某些外形或形状，以便将军事目标从背景中的杂乱物体里区别出来。识别(Recognition)：能辨别出目标属于哪一类型(坦克、车辆、人、飞机等)。确认(Identification)：能认出目标，并能够清晰地确定其类型（如T52坦克、吉普车、歼10飞机）。19/124目标：指一个待探测、定位、识别和确认的物体。背景：指反衬目标的任意的辐射分布。目标特征：是把目标从背景中区别出来的空间、光谱和强度的形貌注意：一个目标在各种运作和环境条件下可以有许多不同的特征，不可能简单地按照世界某一光谱特征来描述所有复杂的目标特性。只能利用目标总体的共同特征。如目标的尺寸和目标对背景的平均温度或对比度。20/124复杂恶劣环境的定义：影响图像质量的因素主要有以下几种：自然环境（雨、雪、大风、水面、天气变化等）摄像机自身的倾斜或震动摄像机平台的晃动（船只、车辆等的颠簸或震动）以上的组合在以上条件下拍摄的录像，一般具有以下特点：图像质量差图像对比度低图像晃动自然环境干扰（遮挡、噪声、阴影、水面等）21/1249.1.4目标探测与识别的信息链目标获取及其基本部件的成像链视线的颤动光学探测器信号处理显示器一个完整的信息链由以下几个环节构成：信息的感知或探测、预处理、压缩、存储、传输、复原、有用信息的提取（融合、分离、增强等）直到应用。现代信息获取技术除通过侦察、瞄准等发现目标和观察目标外，它还包括通信、导航、定位等，此外，还应包括军事气象信息：如大气、风场、温度场等的获取。22/1249.2国内外研究现状自1974年开始，为了进一步提高光电跟踪测量仪器的性能，并适应多目标跟踪测量的需要，美国白沙导弹靶场、新墨西哥州立大学和亚利桑那大学科学中心开始研究智能实时电视跟踪系统。80年代初，美国福特公司和沃特公司为空军研制的机载火控系统的多功能红外相干光学传感器具有多目标捕获、跟踪、分类、武器投掷和地形回避等功能。1985年美国海军的掩护船防御系统能跟踪处理200多个目标。9.2.1国外的研究现状：23/1241989年和1990年美国LarrenceLivermore国家实验室公布了他们的宽视场望远镜实时跟踪系统(WFOV)和多目标跟踪宽视场摄像机系统。美国、欧洲和日本己经开展了大量相关项目的研究。1997年美国国防高级研究项目署设立了视觉监控的重大项目，主要研究用于战场及普通民用场景进行监控的自动视频理解技术;实时视觉监控系统，能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等简单行为。麻省理工学院林肯实验室等单位研制成大功率、远距离、高精度的外差激光雷达，用于跟踪导弹和卫星，识别目标特征。激光雷达可对目标进行扫描和精密跟踪，可得到目标的详细图象和弹道数据，能识别真假弹头，因而其用于反导识别、预警、搜索跟踪多目标等方面具有显著的优越性。24/124激光雷达在美国靶场已广泛使用。现役的有两种激光设备：激光测距跟踪电影经纬仪和激光精密跟踪雷达。已有多种型号的激光雷达布署在靶场，用于空间技术领域，主