基于远距离高精度的立体视觉障碍物检测系统外文翻译

基于远距离高精度的立体视觉障碍物检测系统教授：SergiuNedevschi,RaduDanescu,DanFrentiu,TiberiuMarita,FlorinOniga,CiprianPocol克卢日-纳波卡科技大学计算机科学系；[e-mail]博士：RolfSchmidt，ThorstenGraf大众汽车集团电子研究小组[e-mail]@volkswagen.de本文介绍了一种高精度立体视觉系统的障碍检测方法以及从公路到城市，车辆在各种交通场景中对于环境的感知能力。系统可以检测所有类型的障碍，甚至是高距离一个长方体在三维坐标中的位置、大小和速度会作为一个列表被输出来用于检测。1、动力部分由于人的欲望驱使，交通的密度和流量不断增长，车辆行驶也越来越复杂，那么现代信息社会就需要探索新的解决方法。在过去的30年中欧洲的车辆行驶也双倍增加，从每天的17公里到每天35公里，车队也增加甚至达到四倍之多[14]。共同的目标是使所有道路使用者的行车安全系数增加，即使受伤人数每年减少50%（德国，1980到2000）[15]。这种被动的安全措施在过去的扮演一个主要角色。在未来有源系统所谓的先进驾驶辅助系统（ADAS）将变得越来越重要，并且对于车辆来说它也会作为一个主要电子创新部分而被应用[16]。2、先进驾驶辅助系统ADAS将不仅提高驾驶的舒适性和安全性，交通流通也随之提高。现在已经有主动系统可用于许多汽车，如ABS（防锁制动系统），ESP（电子稳定程序）或BA（制动辅助）。而且ACC（自主巡航控制）可提高驾驶舒适性并且在不久的将来会被应用于大量的汽车之上。通过调查研究主要国家和国际的研究活动，指出了目前的研发三种趋势：(1)在单一的场景中用舒适性来简化驱动任务，即ACC。(2)报警功能在关键时刻警告驾驶者，即航道偏离报警。(3)安全功能以减少避免碰撞，即紧急制动。车辆和驾驶环境之间的关系越来越受到关注。首先它包括通过一些传感系统来驱动环境检测和说明，必要的环境抽象层是由ADAS应用自身决定的：一个简单的纵向控制任务只需要测量目标的推进速度。然而在更复杂的驾驶环境下，警告和安全功能需要明确潜在障碍物的尺寸。在像拥挤的高速公路或者城区内这样的复杂环境中，需要更来自立体视觉传感器更丰富的传感信息。通过图像处理的障碍物检测主要根据两个主要趋势：基于单相机检测和两个（或者更多）相机检测，单眼方法运用对象模型拟合技术，颜色分割或者纹理和对称轴特征检测。三维特征测量是在检测阶段完成后才进行的，它经常是通过对象（如尺寸）的知识结合来表现，道路特征的假设和校准相机的参数的知识。基于立体视觉的方法有直接估计图像三维坐标的优点，这个图像是由一个点到一个复杂结构的东西，三维视觉包括从左到右寻找信息。信息的寻找很困难，费时这是不可避免的，障碍物检测涉及立体视觉，为了对一些经典问题进行简化并且得到实时的效果可以采用不同的方法。例如，利用立体视觉只是测量对象的距离，这个对象已经完成单目图像检测，检测障碍点是立体视差与道路视差的比较。检测障碍的特征有两个相关过程，一个是在垂直表面特征的假设之下，另一个是在水平表面的假设下，并且比较每种情况下的匹配质量。立体视觉系统根本不用搜索信息，二十用扭曲图像来代替，然后执行减法操作。我们的方法执行的是一个3D可是场景重建，唯一的限制是重建点必须位于垂直或者倾斜的的边缘，得到的三维点列表分为仅基于密度和附近标准的对象，在这种方式中，该系统可以检测到所有类型的障碍，输出一个有3D位置和大小长方体列表，没必要做出任何类型的假设。如果需要分类技术可用于区分，检测目标的检测可以用多目标跟踪算法检测速度。3、环境模型所有的3D实体（点，对象）的世界坐标系统如图一所示，这个地球坐标系统实际上是一个汽车坐标系统，在汽车的前面的地面上是它的原点，我们的行驶方向是它的Z轴，最后的属性是确保准确校准相机时间图一地球坐标系统图二所示是地球坐标系统相机的左右位置，这一位置完全是由换算矢量TR和TL决定的，旋转矢量RL和RR在相机和地球坐标系统之间，这些参数是必不可少的立体声重建过程。图二相机坐标系统为了估计平移向量和旋转矩阵，相机在固定并安装在汽车上后再用通用的校准技术校准。对象是长方体，有位置大小和速度，位置（X,Y,Z）和速度(VX,VZ)在中央下部的位置标示。4、3D立体视觉信息提取立体重建算法主要是基于可供选择的现有文献的古典立体视觉原理，找到左右信息的对应点，用立体声校正系统映射到三维世界。关心重建点实时响应和高可信度，为了减少搜索空间和强调对象的结构，只将左边图像的边缘点和右图的点关联起来。由于相机的水平视差，采用基于梯度的垂直边缘检测，非极大值抑制和滞后边缘连接，聚焦图像边缘不仅仅是提高响应时间是的相关任务也变得容易，因为这些点在非均匀图像的区域。基于面积的相关性，对于每一个左边缘点，右边图像被搜索，绝对和差异（SAD）函数用来衡量相似性，用在（5x5或7x7像素）的区域，并行处理器的功能是实现这个功能，沿外极线从立体几何计算开始搜索。运用了两种模式：图像整改，沿水平线搜索或不整改和沿由几何系统决定外极线搜索。为得到低双率，相关函数的强烈反应通常是通信者。如果全球最小功能的函数相对其他地方的函数还不够强大。如图三，第一列是正确的相关性表现，后两列是拒绝通信者的模糊相似函数表现，去掉重复的图案只有完整的一对被重建。为了达到更好地3D深度解析，将抛物线加到相关函数中计算子像素的信息。图三：每一列三个相关方案。第一行左边的图用“x”标明，第二行右图的搜索区域和外极线，第三行相关函数（低意外着更匹配）。抛物线嵌在全局最小值的局部邻域，得到的准确性是1/4至1/6像素。这种精度依赖于图像质量（特别是噪声水平和对比度），我们的实验表明3邻域抛物线工作的比一个好。图四：线性分段近似于5点相关函数图中所示两条抛物线嵌到3和5邻域。子像素的位移“d”表示3邻域抛物线。在此步骤下可以找到对应信息，每一对左右对应点映射到唯一的三维点中，利用相机几何形状追踪每一对点的3D投影射线。计算投影射线的交点，3D点的坐标就被确定。当使用图像纠正时，公式就变得简单，如果是原始图像用来相关，公式就变得复杂。虽然图像纠正为通信者和简单的三维重建提供了一个简单的搜索区域，而一般的图像没有纠正，因为没有图像的重采样需要更好地分辨率。5以分组的三维点为对象在交通对象水平中我们只使用3D点。对象只是包含路面上的物体，路面水平上的点和过高的点都被忽视，过于侧面和太远的点也会忽视。剩下的点就是兴趣区（SOI），SOI时平行六面体，它们和道路平行或在道路之上，假定道路为平面。在测试驾驶之前校准相机的外部参数，相机固定在汽车上，这样相机跟着汽车移动。汽车和路面的夹角根据静态和动态因子而改变。汽车的装载是一个静态因子，加速减速和转向是动态因子，这也导致汽车相对路面改变其仰俯角和侧滚角，为了获得这两个角度，我们要测量底盘和轮子的距离，因为轮子和路面接触。四个传感器固定在地盘和轮轴之间。测量俯仰和侧滚角，SOIQU区域可以设置在路面正上方，SOI的高度包含最高的车辆。对象只能在SOI区域，不能在其他区域。在兴趣区的三维点的卫星图上，假定忽视低密度区域噪声点，那么，我们可以用高点密度区分区域，指定和定位对象。对卫图的3D点进行分析以识别图像，如图五所示，是一个视图显示。图五左图像和3D点的卫图一个重要的发现是，3D点随着距离的增大而减少，为了克服这个缺点，我们压缩卫图的空间，在新的空间中局部密度点保持稳定。在压缩空间中忽视对像的距离，则该区域的对象有相同的点密度。基于距离的压缩系数（Z）:Scale(Z)=f·z1·k[注]：Z—距离F—相机焦距K—根据丰富的三维重建点的电流重建方法，是可以手动选择的因素，X轴和Z轴的值的K可以是不同的。K因子的选择需满足发现的对象中的两个条件：—不要把一个真正的对象分成许多小的物体；—不将许多实物统一成一个更大的物体。该方程用于找到的位置（行，列）在压缩的空间，一个点（x，z）在未压缩的空间，是：row=log1+k/fminZZ；Zmin=SOI低距离限制col=X·Scale(Z)图6中所描绘场景的压缩空间在图8中有所显示。图6压缩空间和识别的对象同时，在图6中对象被确定为密集区域。为使物体沿Y轴的极限位置被发现将目标对象用框图标注如图7所示。6、对象跟踪目标跟踪是为了获取更稳定的结果，并沿X轴和Z轴坐标分别跟踪估计物体的速度，采用简单的平均电流的简化方法在最后检测坐标。目标跟踪的数学支持的是线性卡尔曼滤波。该对象的位置被认为是一个以恒定速度统一的运动的位置。瞬时k是状态向量X（k）的组成部分，我们试图通过跟踪该过程物体在沿X轴和Z轴的速度参数和位置进行评估。图7：目标图象的长方体画透视图图像对象的实际检测将形成测量向量kY，其中只包含了检测到的对象的坐标。kX=)()()()(kvkvkzkxyx其中，X向量是由线性方程表示：kX=A(k)×X(k-1)（1）在状态转移矩阵kA是10000100010001ktktkA一个单目标跟踪的步骤：•预测：通过方程（1）用最后的状态向量和过渡矩阵对目标对象的新位置的进行计算。预测Y坐标即是最后的Y坐标。•测量方法：围绕预测位置（PX，PY，PZ）我们所需目标对象分组结果有以下的预测距离阈值。方程（2）给出了沿不同的三个坐标轴的权重位移，计算其距离并同时考虑当前对象的速度被视为一个不确定性因素。35.07.032,,xzyxxvpzpyvpxzyxD（2）满足使用条件的物体被用作形成一个信封，它的位置是被计算出来的，并用作测量，同时，信封的尺寸作为跟踪对象的当前尺寸,通过创建一个轨道附近物体外的信封对象我们可以分开加入到以前所测量的物体中，只要这些分开的物体具有相同的轨迹，这一合并会变得很高效。这是由对象轨迹关联确保的，当然跟踪争夺的对象和虚假对象的加盟将不会持续太久.•更新：通过卡尔曼滤波器方程，测量和预测被用于更新状态向量X方程，Y坐标和对象的大小由平均电流测量和过去测量值跟踪，如果在当前帧中没有与跟踪相关联的测量量，这个预测会被用于跟踪系统的输出，跟踪被看作经过数轨道没有测量丢失的量。我们必须要确定跟踪的多个对象加一点更复杂的到上面所提出的方法中。确定哪个测量对象由哪个轨道跟踪，或者一个被检测的物体开始由一个新的轨道跟踪。检测到的对象和轨道之间的关联是由方程（2）得到的距离通过使用一种改进的最近邻法得到。每个对象都是针对每个轨道相比。对象标记的应用于最近轨道的数据识别，只要有至少一个轨道具有足够抵到对象的距离。通过经典的最近邻法的改造，我们引入了一个“时代的折扣”的距离比较，并以这种方式我们优先考虑更早，更成熟的轨迹。这个更方便的机制是由它们先后的逆序排序实现轨迹（更早的排列在首位）。如果我们将一个对象跟踪和另一个被标签标记的跟踪物体进行对比，我们改变的只有远程对象的电流跟踪集成远低于旧轨道减去一个固定量的距离，这样的估算大打折扣。对于每一个对象不能被指定到一个现有的轨道实现一些特定的条件，那么一个新的跟踪轨迹就会初始化。一个新的轨道开始时是一个有着合理大小的单一对象。一个轨道的初始阶段并没有任何对象的加入。这样就避免初始化跟踪对噪声象，从而放大噪声。如果帧的预定数量的关联过程失败的话轨道就会中止。对于对象的跟踪验证过程是建立在目标对象的图像获取上以确保从一个对象到另一个没有轨道转换。如果是一个被跟踪几帧的目标对象，那么它的大小公认的是使用一个对象的图像在左图像上的投影（图8，a），归一化到20像素的大小和存储（图8，b）。在后续的帧图像相匹配的一个40x40象素在跟踪对象周围有一个正常的搜索区域。如果更多的帧匹配失败，那么这个轨迹就是失败的。（a)(b)图8：(a)一个跟踪对象(b)归一