11.目标检测和识别

第11章目标检测与识别主要内容提纲•基本概念和方法•目标特征分析•基于特征描述子（模板）目标检测•基于形状特征（模型）的飞机识别•基于边缘特征的舰船检测•基于显著图的目标检测•Adaboost方法•SAR目标检测•深度学习方法主要内容提纲•基本概念和方法•目标特征分析•基于特征描述子（模板）目标检测•基于形状特征（模型）的飞机识别•基于边缘特征的舰船检测•基于显著图的目标检测•Adaboost方法•SAR目标检测•深度学习方法•目标检测是计算机视觉和模式识别的重要研究方向。•任务就是确定图像中是否有感兴趣的目标存在，并对其进行探测和精确定位。•目标检测可以定义为通过某种技术手段，对遥感观测图像和数据中的感兴趣目标进行位置定位和目标辨别的过程.1.基本概念1.基本概念•目标检测可以根据对目标对象认知的程度划分为若干的等级，•目标检测的最低等级是分辨目标的有无，即简单的判断感兴趣的目标是否存在以及存在的目标位置；•最高等级除了对目标标识有无以外，还要对存在的对象进行精确的识别和描述。•二分法：遥感图像---背景+目标•应用中要对得到的目标进行毁伤信息的提取与分析，对目标的真实类型和型号并不感兴趣，比如对于军用机场中的飞机并不关心它是F-16还是F-22；•对于桥梁，并不关心它是否是吊桥还是拱桥；•对于舰船，并不关心它是驱逐舰还是护卫舰，而且就中低分辨率的图像来讲，这些识别也是无法做到的。1.基本概念目标识别•目标识别：对目标进行确认，可以通过图像的几何外观、纹理、材质等方面的属性和特征来目标进行精确的界定和描述。•从广义角度看，识别的过程可以将目标和背景以及其他可疑对象区分开来，如飞机和机场，就是目标检测。•从狭义角度看：识别的过程是把相似目标对象间划分得更为具体，飞机的不同型号•解决目标的具体归属或型号。目标识别的难点•高分分辨率图像：信息丰富、复杂、地物和目标多样性；•影响图像上的目标因素多：光照不同、遮挡、形变、角度不同、背景干扰。•需要精确提取目标的外观特征、空间结构信息。•一些目标的细节决定了目标的类别：精确的轮廓、几何尺寸、材料。分辨率越来越高、数据量越来越大目标自动检测和识别实时、快速，更少的人力、财力相对于低分辨率，很多目标的检测识别成为可能军事目标侦察、城市规划等各种军用和民用领域应用SPOT-5IKONOS-2QuickBird-2WorldView-2GeoEye-1分辨率（m）2.51.00.610.50.41周期（天）2~63~111~31.13光学遥感图像发展趋势高分辨率光学遥感图像的特点颜色纹理多样性同类目标同型号目标背景复杂性对比度阴影灰度分布相似丰富信息量海量的数据潜在的应用多检测和识别的应用•军事领域，通过对遥感图像进行目标检测，可以实现对敌对国家和地区地面状况的监视，侦察对方的军事设施，了解所拍摄地区的地形、装备、部队调动等信息，为战场情报侦察、战场目标监视、战场环境仿真等方面提供了极大的便利；•民用方面，遥感图像人造目标具体的位置、形状、尺寸等信息的获取，使土地利用、城市规划、环境监测等方面有了更便利、更详细的数据来源。检测和识别的一般流程ROI提取•感兴趣区域（ROI：RegionOfInterest）提取：感兴趣区域是指图像中容易引起人们注意、包含图像关键内容的区域，ROI的准确提取可以大大提高图像分析效率。•ROI自动检测：根据低级视觉特征（如颜色）、目标的高级特征（如形状）或利用人类视觉注意机制来提取图像中可能的ROI区域。特征提取•图像处理和模式识别中降维问题的一个特殊形式，它将复杂的图像简化为简单明确的数值、符号或图形来反映目标本质属性，是目标识别的根本。•目标光谱特征外、纹理特征、形状特征和空间上下文特征。•特征提取和选择是高分辨率遥感图像目标识别的基础和关键，很大程度上影响了目标提取的最终结果。分类识别•遥感图像目标检测识别的最终目的是要确定目标的类别属性，也就是计算机视觉中的模式识别问题，而分类器的选择和设计对分类识别的精度有着重要的影响。•常用的分类方法有统计模式识别中的贝叶斯分类器和最近邻分类器、神经网络分类器、SVM。检测和识别的方法•由下而上的数据驱动型•由上而下的知识驱动型•机器/统计/深度学习•视觉注意的目标检测数据驱动的方法•由下而上的数据驱动型:由图像数据到模型解释，一般包括图像预处理、图像分割、特征抽取及目标分类四大功能。•K均值、SVM、boost等，该类算法的优点:适用面广，对单目标检测和复杂景物分析均使用；•缺点:由于在分割、标记和特征提取等底层处理过程中缺乏先验知识，盲目性大，匹配算法复杂，而且结果受图像分割的影响比较大，而图像分割当前还没有通用的好的分割算法，是一个经典难题；知识驱动的方法•由上而下的知识驱动型:在具有目标的先验信息（模型）的前提下，直接在图像中检测目标。•模板匹配检测法是其中的经典算法，这类方法具有几何解析性、一定的抗干扰性和易于并行处理的优点和计算量大、需要巨大的存储空间的缺点。因此在实际应用于项目时，需要加入一些其它技术进行改进。•高斯混合模型、HMM等•基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据(样本)出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测，包括模式识别、神经网络等在内。•基于传统统计学的机器学习研究的是样本数目趋于无穷大时的渐进理论，但实际问题中，样本往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意，具有很差的泛化能力。学习的方法统计学习的方法•为了克服基于传统统计学的机器学习的缺点，Vapnik提出了统计学习理论•Vapnik等人从20世纪六、七十年代开始致力于统计学习理论的研究，到九十年代中期，随着其理论的不断发展和逐步成熟，统计学习理论开始受到越来越广泛的重视。根据统计学习理论，学习方法应该遵循结构风险最小化原则1995)，也即使实际的错误分类概率上界最小化。•统计学习理论是建立在坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架，它能将很多现有方法纳入其中，并在这一理论基础上发展了一种新的通用学习方法，即支持向量机。基于视觉注意的目标检测•人类视觉系统识别目标时：综合使用颜色、形状、纹理等多种特征，并把各种特征融合在一起；能在不同尺度上感知目标和背景的特征差异，快速灵活地分离出目标。•视觉注意(VisualAttention)是人类视觉系统根据图像本身的特性以及有关场景、目标及其关系的知识选择、过滤视觉信息的过程。•Itti提出的视觉注意模型在运算速度和处理效果上均有突出表现，因而广泛关注。模型包含三个基本处理模块：特征图，显著图和胜者全取.基于显著图的视觉注意模型•根据特征整合理论使用不同尺度的高斯差函数对图像的不同特征(例如颜色、亮度、方向)滤波，得到的各个特征的响应形成特征图•将这些特征图融合为一幅显著图，引导视觉注意过程，显著图中的显著值反映各个位置视觉显著性；显著值控制图像中各个位置的相互竞争，显著值大的位置成为注意焦点；通过对注意焦点的返回抑制实现注意焦点的转移.(FocusofAttention，FOA),(Winner-take-all,WTA)–传统方法基于低层信息：颜色、纹理、角点……基于中层信息：BOW、N-Cut……–基于高层信息方法上下文语义、形状先验……发展趋势•高层信息定义：反映场景与目标特性的先验知识和服务于解译的语义信息典型高层信息先验知识：形状先验、空间结构……语义信息：上下文语义、情感语义……基于高层信息的检测和识别不变性—形状先验基于高层信息方法基于高层信息方法不变性—上下文语义•高层信息在光学遥感图像解译中的典型应用基于形状先验信息矩形规则目标函数房屋检测形状模板匹配飞机识别船头形状匹配近岸舰船检测基于高层信息的检测和识别基于上下文语义条件随机场图像标注主题模型目标检测基于高层信息的检测和识别检测和识别的难点•视角差异：计算机描述不同视角的同一目标所得到的底层特征可能会存在很大差异。•亮度差异：计算机描述具有不同亮度的同一目标所得到的底层特征可能会存在很大差异。•尺度差异：计算机描述不同尺度的同一目标所得到的底层特征可能会存在很大差异。•目标变形：同一个(或同类)目标可能存在不同程度的变形，这可能会给计算机底层描述造成很大的影响。检测和识别的难点•目标部分遮挡：图像目标可能被其它目标所遮挡，这也可能会给图像目标描述带来较大影响。•复杂背景：实际的图像目标往往可能存在在复杂背景中，而复杂背景会对图像目标描述有较大影响。•目标类内差异：同一类图像目标可能存在较大的类内差异，此差异会给图像目标的描述带来很大麻烦。检测和识别的指标•检测率：为正确检测目标数占实际的存在的目标比例。•虚警率：检测的假目标数目和实际存在目标的比例。•漏检率：没有检测到的目标数据和实际存在目标的比例。•识别率：为正确识别目标数占实际的存在的目标比例主要内容提纲•基本概念和方法•目标特征分析•基于特征描述子（模板）目标检测•基于形状特征（模型）的飞机识别•基于边缘特征的舰船检测•基于显著图的目标检测•Adaboost方法•SAR目标检测•深度学习方法2.目标的图像特征•灰度（反射/辐射/散射）特征•光谱（颜色）特征•形状特征•矩特征•纹理特征•兴趣点特征•多尺度特征•语义特征形状特征•形状作为一种空间认知中的重要特征，与其它视觉特征如色彩、纹理等相比，在描述和识别目标中具有较大优势。•即使在目标色彩变化，只有少量外在形状的情况下，人们也可以仅仅根据形状信息就能够大致判断目标的类型和结构。形状特征•基于物体边界的特征,如宽度、高度等,描述方法有链码、傅里叶描述子、Hough变换等,•基于区域的特征,主要有面积、圆度、矩特征等,描述方法有矩描述子等。•Hu提出了矩的不变量在模式识别及图像分析等许多领域都有广泛而成功的应用。•不变矩就是一种通过提取具有平移、旋转和比例不变性的图像特征，从而进行识别的方法。几何特征•几何特征以其具有直观的物理意义、可分性强等优点，目前在以车辆、舰船为感兴趣目标的SARATR系统中已得到广泛应用。车辆、舰船目标在SAR图像中呈现出相对简单、规则的外形轮廓，适宜用矩形、椭圆等简单几何模型进行形状拟合进而提取多种几何特征。基于可变参数化几何模型的SAR图像飞机目标特征提取飞机目标切片Frost去斑CFAR检测目标函数优化求解特征计算参数化模型目标二值图最优参数输出参数化几何模型•根据飞机目标的先验知识可知，虽然飞机目标外形轮廓复杂，型号不同的飞机机身和机翼形状有所不同，但是飞机目标通常都可以归结为机身和左右两侧的机翼三个部分构成，左右两侧的机翼关于机身对称。构建的飞机的几何模型，机身用矩形来表示，机翼随着参数的改变可以在各种形状的梯形和矩形之间变换，描述该几何模型的参数矢量为121112112(,,,,,,,,,,,,)wwbbpxyLWbbbbratioEratioEθθθ−−=飞机目标的参数化几何模型/2wb12b−0baθbθE1EθWL(,)xy1ElEl2wb1wb11b−三种典型的真实飞机外形轮廓示意图国产运9中型战术运输机空中客车A380美国空军F-117A“夜鹰”目标函数构建•为了得到飞机轮廓模型的最优解，构建如下目标函数•其中p几何模型的参数矢量，f为飞机切片的二值图。其中红色轮廓表示由模型定义的目标轮廓，落在该轮廓范围内的像素个数为Nm；灰色区域表示由实测切片图像提取到的飞机目标区域，其面积为Nplane；NT表示模型和实测图像中飞机目标区域的重合面积，即红色轮廓中黑色像素的个数；Nout表示实测图像中落在模型范围之外的目标像素，即落在红色轮廓外的黑色区域的像素个数。TNPlaneNModelNoutNm(1)(2)(3)(,)outTTfitnessPlanePlaneNNNZpfNNN=+−p飞机模型与目标区域相交的极端情况飞机模型飞机模型目标区域目标区域（a）模型范围过大，完全包含实测目标区域；（b）模型范围