多光谱行人检测

[多光谱行人检测]多光谱行人检测摘要行人检测是人体姿态恢复与行为分析中的一个重要问题，特别是在应用程序，如视觉监视，机器人技术和驾驶援助系统。最近，大多数的机器学习和信号的行人检测方法在传统的自然图像处理中取得了先进的性能。不过行人检测的准确性存在限制。这背后的原因是用于检测行人的信息是有限的。事实上，频谱可见光可以提供丰富的歧视性信息的行人检测。因此，它是有意义的实施检测任务的多光谱信息。这在本文提出了一种基于多光谱的行人检测方法，该方法不仅利用红色的信息，绿色和蓝色（RGB），而且还融合了近红外光谱信息在检测过程中的信息。潜变量支持向量机（L-SVM）来训练的多光谱检测模型。在一个新的数据集包含1826个多光谱的实验图像对。实验结果表明，利用多光谱信息相比与只使用RGB信息对行人检测有着更显著的改善。1介绍行人检测是人体姿态恢复与行为分析中的重要组成部分。行人检测赋予人类通过机器学习和信号处理技术进行交互的能力，行人检测最近已经提出了许多算法。最流行的行人检测方法是基于模板的方法，采用预先训练的二进制分类，以确定是否有一个行人在滑动窗口内或不在。一系列的行人检测方法可以受益于低层次的特点和培训方法。在[1]，采用Haar特征和Boosting分类器。在[6]，基于尺度不变特征变换（筛）[7]的启发，提出了一种基于梯度方向直方图的检测方法。在[8]的工作已经实验表明，功能优于其他功能的行人检测。然而，仍有一些挑战，如光照变化和包容。例如，整个人体的整体模板是有效的，只有当整个人都是可见的。为了处理闭塞的情况和各种手势，整个人体和身体部位之间的关系已被认为在[9至12]。在这些作品中，人体部位，如头部，手臂，上身和腿部，都考虑在内。除了整体的模板检测器，基于部分的检测器进行了探讨。在[11,12]可以自动决定部件的位置没有零件级监督对于未知部分的位置作为支持向量机的潜变量提出歧视为基础的方法（SVM）框架。最近，行人检测一直是一个热门的研究主题的可见光谱图像。一些研究人员转移了可见光谱图像的其他如红外[13,14]的方法。在[14]的研究表明，远红外（7–14μM）可提高人的检测性能，采用在[7]。然而，这些方法不能利用信息的多个谱带。这将导致一些限制，由于缺乏信息，从其他光谱波段。最近的研究表明，多视点学习整合了多种功能，为培训过程可以提高在许多应用中，图像检索等[28]的性能，图像重排序[29]和[30]，图像分类。这些方法证明，利用不同类型的信息，可以提供一个令人耳目一新的角度来解决问题的计算机视觉。有了这方面的考虑，多光谱信息提供了一种新的观点来更有效地学习世界。最近的研究已经表明在计算机视觉应用中的多光谱信息的有效使用。在[15]的工作表明，近红外（NIR）有红色弱依赖，绿和蓝（RGB）带而不是对方。因此，它提出了多光谱的颜色筛选描述符可以有效地利用多光谱信息，以提高识别分类性能。在[16]，近红外和可见光的线索是融合的皮肤增强。在[17,27]，近红外信息集成到显著性检测的框架，并取得了巨大的成功。在这些作品的灵感来自于多光谱的效用，本文探讨了一种新的想法，多光谱行人检测。在行人检测中，将近红外与可见光谱信息的信息融合的动机是如下。首先，虽然近红外可见光和红外之间，任何人都有不同的属性。与可见光相比，近红外光谱中物体的反射和吸收不同于可见光光谱。其次，用远红外相机相比，近红外相机具有更低的成本。在这项工作中，在行人检测中添加近红外信息的有效性进行了探讨。我们工作的主要贡献如下：提出了一种将可见光与近红外光谱相结合的行人检测框架。据作者所知，这是结合近红外波段实现RGB的行人检测任务的第一项工作。建立了一种新的多光谱数据集包含1826个注释行人NIR和RGB图像对。（3）在我们的多光谱行人数据集上的实验结果表明该方法利用多光谱信息获得比仅使用RGB信息的方法更好的性能。本文的其余部分组织如下。介绍了所提出的方法的细节。在第3节中，实验结果显示，对比不同的检测系统的性能，并没有多光谱信息。4节给出了本文的结论。2。多光谱数据集由于在计算机视觉中的近红外和可见光信息相结合的日益增加的应用，已经建立了几个数据集包含近红外图像。例如，CASIA数据库[18]多光谱掌纹识别，近红外–RGB数据[15]场景识别，人脸识别。这些数据集有助于推动他们的研究领域的创新。在本文中，我们尝试利用多光谱信息，以提高性能的行人检测。在这种情况下，以验证所提出的方法的性能，需要多光谱图像的行人数据集。然而，现有的大多数行人数据集只包含图像产生一个波段或RGB带。行人数据集的可见光，有几种流行的数据集包括INRIA[7]，加州理工学院[20]、[21]和TUDETH布鲁塞尔[22]。在远红外行人数据库，OSU热[23]行人数据库包含大量的红外图像。利用多光谱信息，包含RGB图像的一种新的步行数据集和相应的近红外的版本构建的必然。近红外光谱是一种电磁波，它是在正常人眼视觉能力范围内的。其波长大致范围从700纳米到2500纳米。由于近红外成像的特殊的物理特性，它具有广泛的图像理解24,15–[17]应用。为了利用多光谱信息，建立一个新的多光谱数据集作为行人检测的新平台。然而，它是一个挑战，建立一个多光谱行人数据集的一些技术问题。由于移动的行人和车辆往往可以捕捉到一个给定的实际应用中的相机，从RGB摄像头RGB图像对含自然图像和近红外相机相应的近红外版的内容也会不同。在这种情况下，在同一时间内的同一行人的多光谱信息不能被利用。考虑到这一点，一个多光谱相机捕获近红外和可见光同时是必要的。在本文中，多光谱相机棱镜2-CCD渐进区的基础。在相机使用棱镜，输入光可以分解为两个通道，包括400–700nm的可见光谱RGB和700–1000nm近红外谱、。分裂的谱，回应两个CCD，对一系列波长敏感。在这种情况下，RGB图像和相应的近红外的版本具有相同的观点和内容可以从给定的多光谱相机得到的。在本文中，以捕捉RGB图像的能力和相应的近红外版本同时来建立我们的多光谱数据集的多光谱相机的行人。给定的多光谱相机能够将输入光到近红外与可见光通过棱镜，和RGB和近红外图像对可以产生两个CCD同时。我们采用这个相机捕捉到1826个图像对7681024分辨率。每对包括一个RGB自然图像和相应的近红外的版本。然后，我们雇用十名志愿者，主修计算机视觉，标签1826个图像对通过使用一种改进的注释工具[25]，它被引入到标签的训练和测试数据的包围盒。在训练集，每一个图像对包含一个或几个行人与包围盒，这是积极的例子。负面的例子来自包围盒不包含任何行人。在测试集，只有行人在每个图像对被标记为真理。典型的近红外光谱和RGB图像对图1所示。在视觉上，在近红外图像的轮廓和纹理相似的RGB图像。从图1可以看出，相对于RGB图像的颜色信息，大部分是失去了在近红外图像，包括人类和背景所穿的服装。然而，近红外图像也表现出明显不同的特点，如明亮的人类皮肤，黑暗的天空和明亮的植被。一方面，前景和背景的对比在近红外和RGB图像是不同的。另一方面，由于近红外和可见光光谱的不同反应，纹理的细节是不同的。因此，我们预计，这种歧视性的成像特性可以为行人提供有用的信息。3。提出的方法在这部分的实现问题，基于多光谱探测程序都进行了讨论。我们提出的方法框架由图2进行描述。3.1。特征在描述所提出的方法，一个简单的和有效的描述符，应提取。面向直方图的梯度的特点已经显示出显着的效果对象表示[12]。简单地说，HOG表示的图像是由一组归一化梯度直方图。首先，给定的图像被划分成几个非重叠的矩形像素区域的细胞。在每个像素，图像梯度矢量计算。对于RGB图像，三个颜色通道梯度的计算对每个像素。并选择了三个颜色通道中的最高梯度幅度为每个像素的梯度。对于近红外图像，因为只有一个通道，像素级梯度可以直接计算。像素方向分为九个或十八个箱。每一像素内的细胞票到相应的方向与投票加权梯度幅度。对于每一个细胞，梯度方向的直方图积累这一单元中每个像素的加权投票。然后相邻细胞分成几个2个2块。每一块都是与相邻的像素块重叠区域。最后，直方图的每个单元格的归一化相对于该块中的单元格的直方图的总和。由于块重叠的空间，每个细胞出现不同的正常化的几倍。突出的照明不变性，得到从这个标准化方案。进一步的细节显示在[7]。3.2。潜在的支持向量机学习可变形模型[11,12]的定义是从一个整体的模板编码整个对象和几个部分模板编码的对象更小的部分。这种模式是适用于非刚性变形物体检测，如行人检测。然而，在这项工作中所使用的训练数据集仅指定一个边界每个行人的窗口。因此，只有整个行人被标记为一个积极的训练例子。但是，每个积极训练样本的每个人的位置是一个未知的变量。为了获得变形的零件模型，有效的培训策略是渴望。类似于[11]，行人的确切位置被视为一个潜变量和潜支持向量机分类器被利用来选择一个窗口，它具有大的重叠标记的边界框。作为一个知名的统计学习方法，支持向量机能够在高维特征空间小样本学习。为了应对潜在的变量等部分的位置，改进的支持向量机，称为潜在的支持向量机，本文采用的是。一种潜在的支持向量机描述如下。假设一个分类器，每一个例子都有如下表格：4。实验在这一节中，比较实验结果表明，多光谱信息在行人检测中的有效性。为了验证所提出的方法的性能，本文比较的方法状态的实验结果：L-SVM[12]，hoglbp[7]，[31]和[32]，fpdw。此外，一组实验的实施与相同的数据集，这是在第2节中描述。在训练集上，有198个图像对513个行人。测试集包含1628个图像对5018个行人。该方法采用近红外和RGB的线索为行人检测的程序。感想及分析本文提出了一种新的行人检测方法，利用多光谱信息。一个新的数据集是为了提供一个新的行人检测平台。不同于大多数现有的数据集，该数据集包含RGB图像对近红外光谱可用于行人检测提供更多有价值的信息。因此，所提出的检测方法可以得到一个更理想的结果。所提出的方法的动机是探索有效的在行人检测结合近红外和RGB的线索性。在今后的工作中，一个更精细的特征表示和早期融合包括在模型训练前会进行调查，进一步提高行人检测的性能RGB图像输入和近红外输入的响应。为了更全面地评价行人检测系统，一个更周到的多光谱行人数据集包含几个不同的环境，如多云，有风和雨，也将构建。可重点用于夜间行人检测本文主要贡献是提出了一种将可见光与近红外光谱相结合的行人检测框架。建立红外图像的行人和非行人标准数据集；提取样本图像梯度方向直方图特征（HOG）；提取样本图像强度直方图特征（HOI）；设计行人分类特征-梯度方向和强度直方图特征（HOGI）；提取样本图像HOGI特征并训练行人分类器；基于多尺度滑动窗口法对红外图像进行搜索检测；融合多窗口分类结果确定行人位置。本发明在研究目前常用的行人检测特征的基础上，提出了专门针对于红外图像的行人检测特征。结合HOG以及HOI特征各自的优点，通过支持向量机（SVM）的帮助，得到了适合红外图像行人检测的HOGI特征。实现夜间环境的行人检测，具有检测率高，误检率低，环境适应性好等特点。行人检测技术是计算机视觉的一个重要应用，在日常生活和生产中具有很高的实用价值。行人检测的目的就是把图像或视频序列中出现的行人从背景中分割出来并精确定位。汽车安全技术的进步可以提高车辆驾驶的安全性，从而减少交通事故的发生，减轻医疗系统的负担。而行人检测系统是智能辅助驾驶系统，无人驾驶汽车等汽车安全技术的核心技术之一。此外，随着智能视频监控等技术的发展，行人检测也成为其中必不可少的功能之一。目前夜间的行人检测技术主要的是可见光图像，激光雷达，红外图像等技术。在夜间，由于光照等条件不理想，可见光相机等探测器的成像与环境监测效果较差。而激光雷达是无人自主车上用于道路扫描，障碍物检测的重要工具。激光雷达测距原理来测量前方障碍物的距离，拥有测速快，精度高，不易受干扰，不受光照的因素的影响等优点，可以全天候工作，因此也可以用于行人检测。行人相比于车辆等物体，尺度较小，在激光雷达获得的点云数据