搜索
对单幅图像中一般道路的检测HuiKong,Member,IEEE,Jean-YvesAudibert,JeanPonce,Fellow,IEEE摘要：给定一个有任意道路的单幅图像，这条道路可能是不平坦的，而且没有明确界定的边缘，甚至没有一些颜色或纹理分布的先验知识，计算机是否有可能找到这条道路呢？本文通过把道路检测过程分解为两个步骤，解决了这个问题：首先估计与道路的主（直）干道部分相关的消失点，然后再根据检测到的消失点分割相关的道路区域。本文所提出的方法主要的技术贡献在于一种新的基于高置信度的投票点投票的区域自适应软投票计划，使用Gabor滤波器对这些点的纹理方向进行计算，以及新的用于检测道路边界的消失点约束边缘检测技术。本文所提出的方法已得到实现，通过1003幅一般道路图像的实验表明，它在艰难条件下也能有效的检测道路区域。关键词：主导边缘检测，道路检测，软投票，消失点检测。一简介作为全自动车辆导航系统的组件之一，众多的基于图像的道路检测算法已经出现[1]。大多数早期的系统关注跟踪那些能很容易和它周围环境区分的平坦道路。最近，由DARPADARPAGrandChallenge[2]（自动越野车之间的竞赛）触发，很多算法都试图处理越野条件。虽然在用于检测个别道路类型的专门系统上作出了显著的进步，但提出一个通用的算法来检测多种类型的道路迄今收效甚微。图1给定如图1所示的道路图像，计算机可以大致确定道路在哪里吗？本文回答了这个问题，提出一个新的分割道路区域的框架，其基于与道路的主要（直）部分相关的消失点的估计。本文的创新在以下几个方面：1）在纹理方向的估计方面，我们不仅计算每个像素的纹理方向，而且对每个估计给定一个置信值。引进的置信值，接下来会合并到消失点估计中。2）通过观察，发现较高位置的图像像素与较低位置的图像像素相比往往会得到更多的选票，这通常会导致对图像道路消失点的错误估计，如果真正的道路消失点不在图像的上半部分的话。为克服这个问题，提出区域自适应软投票权（LASV）计划。该计划使用局部区域投票，在这区域中具有低置信值的纹理方向估计的像素点被丢弃。这个消失点估计的方法是比较有效的，因为只有在局部区域中被选定的像素才能作为投票点。3）分割道路区域，根据方向一致性（OCR）特征，消失点约束的一组主导边缘被检测到。同时结合颜色线索，两个最主要边缘被选择为道路边界。这种道路检测方法结合了道路的纹理方向和颜色信息，而且处理好了照度的改变，适用于一般道路图像。在本文的初稿[3]，我们只使用OCR特征和聚类方法进行道路分割。通过实证结果显示，OCR和颜色特征相结合，道路分割精度提高了。二相关工作一般来说，一个道路图像可分为结构化的（例如，城市道路）和非结构化的（例如，农村地区的道路）。对于结构化的道路，定位道路边界或道路标记是最常用的方法：颜色特征[4]-[6]，Hough变换[7][8]，方向可调滤波器[9][10]和样条函数模型[11]-[13]等，都可以用来寻找道路边界或标记。这些方法的缺点是，他们只适用于有明显标记或边界的结构化道路。基于颜色特征分割道路的方法也被提出，但他们对一般道路图像也没有很好效果，特别是当道路的表面与环境之间的颜色差异不大时。此外，激光[14]雷达[15]和立体视觉[16]，也可用于结构化道路的检测。对于非结构化道路或没有明显界限或标记的结构化道路，Alonetal.[17]结合Adaboost-based区域分割和几何投影的边界约束检测找到“可驾驶”道路区域。但是，它需要许多不同类型的道路图像来训练区域分类器，这是繁重的任务。逆向光流技术[18]提供了一个自适应的道路区域分割算法，但这种方法不能很好地应用于坎坷的道路上，当相机不稳定时，就没有足够强大的光流估计。立体相机[19][20]也可用于确定地形通行能力。但当公路和越野区域的颜色之间几乎没有什么差别时，就很难找到强有力的强度变化来界定他们。在这种情况下，似乎界定道路的一个最大特征是纹理。也有相关的方法[21]-[23]曾试图利用纹理特征界定前面的“可驾驶”图像区域。他们对每个像素计算纹理方向，然后由一个投票方案决定道路的消失点，最终使用颜色特征确定道路边界。我们的做法就属于这方面的研究。虽然多传感器的方法[24]也可以处理非结构化道路的情况，但它仅使用视觉信息，超出了本文的讨论范围，。本文剩下部分的安排如下：每个像素点的纹理方向估计以及给定置信值（第三部分），考虑到置信水平和投票像素点到候选消失点距离的投票方案（第四部分），以及一个新的检测道路边界的消失点约束主导边缘检测技术（第五部分）。三纹理方向估计及置信值分配我们依赖Gabor滤波器进行纹理方向的估计，由于他们的准确性（见[22，2.1]）。Gabor滤波器的核心类似于哺乳动物皮层简单细胞的2-D剖面图，表现出理想的空间局部性和方位选择性。对于一个方向，弧度（径向频率），Gabor小波（内核，滤波器）被定义为[25]：22222(4)/(8)/2,(,)()2abciacxyeeec其中cossinaxy，sincosbxy，2.2c([25,octave1.7]).我们考虑5个弧度值（002,2.1,0,1,2,3,4kk）和36个方向（180/5）上的几何投影。这些参数和[22]中相似，图2显示了Gaborkernels的实部和虚部。图2令(,)Ixy为图像在点(,)xy的灰度值。图像I和的Gaborkernels函数卷积定义为：,,I（1）卷积结果,()z在像素点(,)zxy有两个分量，实部和虚部。为更好的描述局部纹理特征，我们对这个“复响应”的每36个均匀Gabor滤波器方向计算平方范数：22,,,()Re(())Im(())Izzz图3一个方向的图像响应定义为在不同弧度响应下的平均值（见图3）：,()()RzAverageIz；被选作滤波器方向的纹理方向()z是区域中使复响应最大的平均值（对5个弧度值）：()max()zArgRz图4的第二行显示，图像被使用Gabor滤波器子采样的纹理方向估计覆盖。图4对（1）应用卷积定理，我们得到：,,{}{}{}I因此1,,{{}{}}I其中，，1表示傅里叶变换和傅里叶反变换。使用快速傅里叶变换：222222222(())/(2)()/(2),{}(,)8()cccee其中，cossin，sincos，允许响应图像的快速计算。尽管先前提到的对纹理方向估计的解决方案已经被一些以前的研究者使用过，但以这种方式对纹理方向进行的估计并不能保证是准确的。对像素点z的纹理方向()z设定置信水平，我们寻找一种方法能够评价函数()Rz峰值在最佳的角度()z附近的程度。令136()...()rzrz按照Gabor在36个特定方向（1()()()zrzRz）响应值的大小排列。如果全局响应的最大值和其他局部响应的最大值明显不同，那么此纹理方向的估计就是可靠的，否则就不是。我们发现局部响应的最大值通常位于5r和15r之间（234,,rrr与最佳角度相似的角度相符合）。所以，我们令从5r到15r响应的平均值作为局部响应最大值的平均值。在()z方向上置信值函数为5151((),,())()1()AveragerzrzConfzrz我们对()Confz函数进行归一化处理，整幅图像的函数值在0和1之间。在我们的实验中，抛弃那些()Confz值小于T的像素点，保留剩下的像素点作为投票点。T可以被看做是归一化置信值的门限。通过图像测试中不断调整T来得到最佳的T值，发现当T=0.3时消失点检测达到最高的准确度。我们并不直接使用Gabor滤波器响应的值，因为按照我们的测试它可能会比提议的方法得到更差的结果。这些结果大部分是由于在部分图像中高幅度响应值和道路区域不相关，反而Gabor响应的低响应值在道路区域中，这经常出现在有明亮天空和非结构化道路的图像中。四区域自适应软投票计算完该图像的每个像素的纹理方向之后，这些像素可以投票确定消失点。准确地说，一个纹理方向是向量PO的像素P可以投票给所有P上的像素V（我们认为该图像中道路在天空下），因此，方向和矢量之间的角度((),)PPVO低于一些固定的阈值。这种“硬投票”的策略在[22]中已用过。在我们的实验中，我们注意到，这个策略往往有利于图像中高位置的点，导致在消失点估计时出现较大的错误。此缺陷出现的典型图像如图5所示.图5为解决这个问题，我们提出了一个软投票方案，候选消失点的投票分数要考虑到候选消失点和投票点的距离。我们认为每个占整个图像中前90％的部分像素是一个候选消失点，（虽然我们可能考虑更少，通过子采样图像），据我们所知，这是一个对一般道路图像现实的假设。对于图像的每个点V，我们定义一个V以下中心在V的半盘图像投票范围VR为图像Gabor响应（见图6）。半盘的半径被设定为0.35r，其中r是图像对角线的长度（见我们的实验验证部分）。图6在VR里面的每个像素P，如果纹理方向PO估计置信值大于T（第三节最后），将投票给更接近P且PV的方向和P纹理方向一致的候选消失点V。具体而言，我们引入比率(,)dPV等于图像的对角线长度除以PV的距离，并令((),)PPVO为P点方向（PV）和纹理方向之间的角度。215(,),1[(,)]12(,)VotePVifdPVdPV（2）值得注意的是，本身独立于(,)dPV。然而，的阈值取决于(,)dPV，使得仅当是非常小的角度（通常小于3度）时，相距很远的点（但仍在VR内）才能考虑进去，而点越接近V将越被考虑进去，最多到5。例如，如果(,)0.3dPV,仅当小于5/(1+0.6)（约3度）时，P才能投票给V。相反，如果(,)0.03dPV，当小于5/(1+0.06)（大约为5度）时，P就可以投票给V，。这样的门限也可以被看作是一个惩罚系数，惩罚图像顶部尾端的候选消失点，他们有收到更多投票的优势，相比较低的候选消失点。此外，这也能够提高计算机的效率。最后，检测接收最大的投票得分的候补作为消失点。LASV过程见表1简要介绍。当真正的消失点不位于图像的顶端底部时，本文提出的方法LASV的优势是常规的全局硬投票方法的3倍。首先，软投票策略通过使投票得分远远低于1（除非非常小），抑制了对虚假消失点的支持（即那些在真正的消失点以上的候选消失点）。例如，图5中它减少了V1从Z2、Z3得到的投票支持。第二，它增加了真正的消失点接受到支持的比率，相比较高的假消失点接收的，例如如果P1给V1、V2都投票，V2接收到的支持大于V1。而如果使用硬投票方式，即使P1给两者都投票，对V1、V2的支持也相等。除去远离消失点候选的像素点，或纹理方向估计置信值低的像素点，或没有足够小的像素点，这大大提高了计算效率。我们的研究结果表明，LASV比慢版的全球硬投票方法[22]速度超过5倍。五道路分割正确检测到的消失点对道路区域的定位提供了有力的线索。因此，我们提出了一个消失点约束主导边缘检测的方法，找到两个最主导的道路边缘。根据两个主要的边缘，我们可以大致分割道路区域，以及利用两个最主导边缘的结合点更新由LASV估计的消失点[23]。在[23]中,类似的直道路分割方法同时进行检测两条道路边界。它是利用图像内的道路区域和在道路区域以外的某些特征（例如，R，G，B颜色特征）的平均值之间的差异，通过优化准则实现的。它也可以工作当公路和越野地区有不同的特点时。但是，它在两种情况下通常会失败：公路和越野区之间几乎没有什么颜色差别，并且道路区域内颜色不是均匀分布的。我们也需要指出[26]提出的道路支持区域分割方法与我们的区别。主要区别是，他们通过使用假想的“道路支持射线”获得道路的中线。这种技术可以很好地适应沙漠（不平坦）道路，其通常有以前的车