基于红外图像的地面自主车导航的道路边界检测

文章编号：基于红外图像的地面自主车导航的道路边界检测任明武，孙涵，王欢，杨静宇（南京理工大学计算机系，南京，210094）摘要：本文较详细地讨论了用于地面自主车(ALV)视觉导航的红外道路图像的特点，论述了红外道路图像的预处理策略和方法，分析了一些常用的图像处理方法在处理红外道路图像时的缺陷，指出由于温差的渐变性，红外道路图像的路边检测特别适合使用阈值穷举法，并给出了在温度渐变的路边上边缘强度的求取方法和使用二阶微分算子得到边界线段的精确位置的方法。文中同时使用了边缘信息和灰度信息来提取道路边界信息，阈值穷举法得到的道路边界线段和二阶微分算子得到的道路边界线段相互融合，得到候选的道路边界线段，在ALV的实际应用已经中取得了很好的效果。关键词：ALV；视觉导航；红外图像；边界检测；图像分割中图分类号：TP391.4TP242.6文献标识码：BRoadBoundaryDetectioninInfraredImageforALVNavigationRENMing-wu,SUNHan,WANGHuan,YANGJing-yu（NanjingUniversityofScienceandTechnology,Nanjing210094,China）Abstract：ThispaperpresentsanovelmethodtodetectroadboundaryininfraredimageforAutonomousLandVehiclenaviation.Inthispaper，thecharacteristicsofroadinfraredimagewasdicussedindetailandshortcomingsofthenormalmethodsusedinroadCCDimagewaspointedout,andbecausethediffusionoftemperature,theconsectivethresholdtechniquewasadpotedtogetsegmentationresultsandtobeusedtocalculatetogradiendintensity.Onenewanewstrategycombinedbothedgeandgrayscaleinformationwasproposedtocollectroadboundaryedgesandcandidateboundaries.Thisnewstrategyhasbeenappliedinnavigationforautonomouslandvehicleandpovenpractial.Keywords：ALV;Visionnavigation;Infraredimage;Edgedetection;Imagesegmentation1引言(Introduction)ALV(AutonomousLandVehicle)是模式识别和人工智能的一个重要的研究课题，近二十年来在国际国内受到广泛的关注[1-2]，具有重大的理论和应用价值。道路边界检测是ALV的研究中一个重要课题[3-6]。过去的道路边界检测手段一般是使用可见光传感器，在二维的可见光图像上进行的。然而，可见光图像很容易受到光照不均和路面阴影等的影响，并且在夜晚无法难以应用。近些年来，随着红外成像器件的发展，红外传感器的价格越来越低且分辨率逐步提高，一般都能达到320×240以上的图像分辨率，红外图像的道路边界检测的重要性越来越受到重视。本文较详细地分析了红外道路图像的特点，论述了红外道路图像的预处理策略和方法，分析了一些常用的图像处理方法在处理红外道路图像时的缺陷，并提出一种非常实用的道路边界检测方法，该方法充分利用了道路的边界特点，同时了使用边缘信息和灰度信息，在实际应用已经中取得了很好的效果。2红外道路面图像的特点(TheCharacteristicsofIRRoadImage)相较于可见光图像，红外道路图像是一种对比度很弱且噪声较大的图像。在红外图像中，像素的灰度值大小反映的是目标的温度高低。在道路图像中，路面和非路面是不同的介质，路的两侧一般为植被。在夏季时，阳光照射强度大，水泥或柏油的路面区域温度高，而植被是出于生长状态，从而路面和非路面存在较大的温差，即图像的对比度较大。在秋冬季节，路面两侧的植被很多是死亡的，阳光照射的强度也不如夏季强，从而路面和非路面之间温差非常小，即图像的对比度很小。在夜晚，由于没有了阳光的照射，路和非路的温差慢慢消失，路和非路之间的存在很大的温度过渡区，导致图像中路面像素和非路面像素之间不存在阶跃边缘，仅在很大的过渡区上存在很小的灰度差异。红外道路图像的这些特点，导致了很多适用于可见光图像处理的方法难以采用，即使使用了也会缺乏对复杂多变的路面图像的适应性，或仅仅对某些类型、某些特定条件下的图像有效。常规算法对红外道路图像的有效性分析如下。红外图像道路图像的梯度信息难以利用。红外道路图像是一种反差较小且噪声较大的图像，由于路和非路本来不存在很大的温差，路和非路之间不存在直接的温度跳变，而是在一个较大的区域内温度渐变，又加上很大的系统噪声，这使得常规的基于一阶导数极大值边缘的检测算子，如Sobel和Roberts等难以使用。如图1所示，图1(a)是秋季晴天晚上的原图，图1(b)是其Roberts梯度图像，为了便于观察，将其进行了直方图均衡化增强，见图1(c)。可以看出，在梯度图像中左右边界基本丢失，左侧的一条很明显的直线实际上是道路左侧的墙体的边界，同时图像中噪声也很大。(a)原始图像(b)Sobel边缘图像(c)增强后的图像(a)OriginalImage(b)SobelImage(c)EnhancedImage图1红外道路图像及其特点Fig.1IRroadimageandcharacteristics红外道路图像的纹理信息难以利用。尽管在可见光图像中，路和非路有着不同的纹理且差异较大，但红外传感器分辨率较低，且因为红外辐射本身的物理特性，路和非路的纹理信息并不存在很大的差异，这使得基于纹理来分割路和非路的方法难以使用，如图2所示。(a)区域1的直方图(b)区域2的直方图(c)整个图像的直方图(a)Histogramofregion1(b)Histogramofregion2(c)Histogramofall图2红外道路图像的特点Fig.2CharacteristicsofIRroadimages图2（a）是图1(a)中矩形１所定的非路区域的直方图，图2（b）是矩形２所定的路面区域的直方图，可以看出它们的方差都很小，说明纹理信息并不显著，差别也不显著，尽管矩形1的区域是长满杂草的土包，而矩形2是水泥路面。尤其在夜晚，在非路区域的植被没有了阳光的照射，纹理信息还会变得更差。图2（c）是图1(a)的直方图，可以看出相对于两类不同介质的两个波峰，但它们非常相邻，说明这在两类介质之间等效辐射温度十分接近。红外图像道路图像中，单一阈值二值化做图像分割的方法难以应用。基于直方图的图像二值化方法，常用于在可见光图像中分割出目标和背景。但在道路图像中，由于路面多种介质的存在，和路面阴影区域的存在，在道路图像中很难找到一个合适的阈值，直接分出路面和非路面区域；或者“所有的图像都有一个能够分出路面和非路面的阈值”很难成立。图3(a)所示的是白天晴天时的有多种介质的路面图像，分别是上方的沙石路、左侧的水泥路和下方的柏油路，显然有着不同的灰度分布，很难用一个阈值分割出路面和非路面区域。图3(b)是有阴影的路面图像。尤其是，由于红外摄像机系统热噪声的影响，更加加剧了该方法的无效性，如图3(c)和图3(d)是同一个场景的晚上图像，图3(e)和图3(f)的是它们的直方图均衡化结果。比较图3(e)和图3(f)可知，同一种区域在图3(c)中的灰度一致性比在图3(d)更差，呈现严重的中间亮四周暗的特点(主要是红外摄像机本身的热噪声造成)，因此采用单一阈值分割出完整的路面和非路面是极其困难的。(a)多种介质的路面(b)由树荫的路面(c)夜晚图像1(a)Withmulti-media(b)Withshadow(c)Night1(d)夜晚图像2(e)夜晚图像1直方图均衡化(f)夜晚图像2直方图均衡化(d)Night2(e)Enhanced(c)(f)Enhanced(d)图3一些典型的IR图像Fig.3SometypicalIRroadimages红外图像道路图像中，区域增长的方法很难使用。区域增长算法一般包括分裂和合并两个过程，分裂是将一个图像划分成众多小的区域的过程，增长则是将这些得到的众多的小区域进行合并，得到数个有明确含义的区域。区域增长算法的关键是区域合并。在红外道路图像中，由于边界的渐变、噪声的影响，存在灰度非常均匀的路面区域和非路面区域的路面图像仅在少数情况下存在，路面图像的灰度往往是不均匀的，这都导致无论是传统的区域分裂合并算法，还是近些年广受关注的watershed算法[7]的合并过程困难重重。如图4(b)是图4(a)的watershed分裂的结果，看到众多的小的区域，各个区域的灰度平均值如图4(c)所示，如何将这些度差异不明显的众多小区域灰合并成路面和非路面两种区域，非常困难。(a)原始图像(b)watershed得到的区域(c)各区域的平均亮度(a)Originalimage(b)watershed(c)regionsbrightness图4Watershed图像Fig.4Watershedresultimage3边界线段收集(Collectionoflinesegments)一般来说，道路图像的特点是有两条近乎平行的左右边界，或者至少有一个边界，左右边界近乎直线，或者分段近乎直线，在某个合理的阈值下，能够得到道路左边界或者左边界的一部分，在另一个合理的阈值下能够得到道路右边界或者右边界的一部分，如图5(b)和图5(c)所示，图5(b)是图5(a)在阈值等于115时的二值化结果，从中可以得到大部分的左边界，图5(c)是图5(a)在阈值等于101时的二值化结果，从中可以得到部分的右边界。为了便于观察，图5(b)和图5(c)做了中值滤波。由于多种因素的影响，和道路左右两侧的非路区域介质的变化，往往单一的阈值难以同时得到完整的左边界和右边界，即需要多个阈值才能全部提取出边界信息。(a)原始图像(b)阈值115时的二值化结果(c)阈值101时的二值化结果(a)Originalimage(b)Thresholdat115(c)Thresholdat101图5图像分割结果Fig.5Binarywithdifferentthresholds基本可以认为，在不同的阈值下的边界信息的并集，肯定包含了道路的左右边界信息。因此，本文提出了使用阈值穷举法的道路边界线段收集方法，即使用多个阈值对原始道路图像进行二值化，在得到的多个二值图像中，使用链码跟踪轮廓[8]，并在链码中寻找大于一定长度、和一定角度的直线段[9-11]，这些直线段的并集包含了路面的边界信息。图6(a)-(c)分别给出了是图1(a)、图3(b)和图3(c)的边界线段，白色表示可能的左边界，黑色表示可能的右边界。阈值穷举法的缺点是容易形成伪边缘，其优点是可以通过对并集的分析，得到路边的梯度。为了减小图像中噪声的影响，可以对原始图像做可以用3×3的中值滤波后再进行阈值穷举。(a)图1(a)中的线段(b)图3(b)中的线段(c)图3(c)中的线段(a)LinesinFig.1(a)(b)LinesinFig.3(b)(c)LinesinFig.3(c)(b)图6阈值穷举法得到的线段Fig.6Linesegmentsextractedbyconsecutivethresholds二阶微分算子可用来去除阈值穷举法形成的伪线段。把阈值穷举法得到的线段用二阶微分算子得到的边缘进行验证，可以去除阈值穷举法形成的伪线段。二阶微分算子使用导数过零点，寻找二阶导数的零交叉处就是边缘点的位置，所以它与到梯度值的大小无关，如前所言