50基于光流的无人直升机视觉障碍回避-杨文凤(5)

309第二十八届（2012）全国直升机年会论文基于光流的无人直升机视觉障碍回避杨文凤谢强宋攀（中国飞行试验研究院，西安，710089）摘要：自主障碍检测与回避是无人直升机贴地飞行时保障其生存性的一项关键技术。鉴于此研究利用机器视觉的原理，采用仿生学的光流避障方法，通过单目前视摄像机获取图像，解算出光流速度场，进而利用光流平衡法对无人直升机在虚拟三维场景下贴地飞行时的障碍回避进行了实时仿真。仿真结果表明基于光流的无人直升机直升机障碍回避方法具有一定的可行性。关键词：贴地飞行；视觉制导；光流；障碍回避0引言美国军方将地形跟随飞行分为三类低空飞行模式[1]（low-altitude）：低高度飞行（low-level），轮廓线飞行（contour），贴地飞行（nap-of-the-earth）。贴地飞行要求飞行器尽可能的一直在树冠下方或建筑物间隙飞行，这种飞行模式利用周围的地形、植被和人工建筑等作为掩护，因此可以提供最低的飞行高度和最大程度的隐蔽性，但是这种高隐蔽性是以其高危险性为代价的，作为其掩护的物体同时也会成为飞行器飞行中的障碍，因此，选择一种切实有效的障碍检测及回避控制策略是至关重要的。视觉制导是通过对视觉传感器获得的图像进行处理和分析来获取无人直升机周围环境信息，规划无人直升机飞行路径，确保无人直升机飞行安全性的一种技术，与其它应用于无人直升机控制系统的传感器相比，它具有设备简单便宜，获得信息量大，完全自主和无源性等优点。无人直升机的周围环境信息需要通过利用立体视觉的视差原理恢复景物的三维几何信息，重建景物的三维轮廓和位置来获取，目前，单目立体视觉无法提供景深信息，双目立体视觉又存在特征点匹配难度较高的问题。Srinivasan等人在十余年针对蜜蜂制导的研究中得出了大量有价值的结论，并在之后的研究中将其仿生学制导方法应用于无人直升机地形跟随中，验证了这种算法的有效性。Green等人将光流的制导方法应用于无人直升机的贴地飞行中，飞行环境贴近地面，多为隧道，山洞，建筑群或树木间。一系列的研究表明，仿生学的光流法对无人直升机的视觉制导起到了有力的推动作用。本文利用光流实现无人直升机在虚拟三维场景中的障碍回避仿真。1光流平衡法基本理论光流是指空间运动的物体在成像面上的像素运动的瞬时速度，它表征了二维图像的灰度变化和场景中物体及其运动的关系，它根据像素灰度的时域变化和相关性确定各个像素点的运动速度，进而分析场景中物体的结构和运动。光流场是图像中所有光流点的集合，它是一种二维瞬时速度场，其中的二维速度矢量是场景中可见点的三维速度矢量在成像平面上的投影。一般情况下，光流由相机的运动、场景中目标的运动或两者的共同运动产生，它不仅包含着被观察物体的运动信息，而且还携带着有关景物三维结构的丰富信息。机载前视单目摄像机前向运动的速度xV产生的光流可以用来控制无人直升机进行障碍回避[2]。为区分环境景物的实际运动速度和景物在像平面上的光流速度，我们用V表示实际运动速度，M表310示光流速度。假设摄像机焦距为f，无人直升机定高飞行，在点O处检测到障碍物P，它们之间夹角为，距离为d，如下图1所示：yf像平面dPxVxVhMXYO图1环境景物点与其像平面对应点投影关系图从上图可以得出如下关系式：yfYX（1）假设横侧向速度0yV，关于上式对时间求导，经过变换，最终可以得到像素在像平面的运动hM如下：cosxhyVMd（2）从等式（2）可以看出，hM和d成反比，即距离无人直升机远的障碍物在像平面上的水平光流速度值小，距离无人直升机近的障碍物在像平面上的光流速度值小，因此可以得出一个障碍回避的控制策略，这种控制方法叫做光流平衡法[3]。光流平衡法通过使图像左右两边光流保持平衡来确保无人直升机在左右两边都有障碍时保持居中飞行，在一边有障碍时向光流小的一边偏转以便偏离距离近的障碍，光流平衡法的控制律如下式（3）所示：arg()tetrightleftpsihhkMM（3）其中，righthM和lefthM分别指图像左右两边像素的平均光流速度值，psik是一个比例常数。当无人直升机正对障碍物时，各个方向的光流速度值大小相等[4]，，则通过将无人直升机偏航角给定为一常数值，使其回避障碍。一般情况下，通过计算得到的光流不能直接用于式（3）的控制律，这是由于这个光流包含两个分量：无人直升机水平运动产生的光流分量和无人直升机角运动产生的光流分量，而无人直升机角运动产生的光流和距离d不存在确定的关系，这个分量不能用于障碍回避控制，因此需要先将角运动产生的光流分量从计算得到的光流中剔除掉，进而得到可应用于无人直升机障碍回避的水平运动光流分量。设无人直升机水平速度为helicopterV，角速度为helicopter，环境中的一点P在像平面上的运动为pV，则根据移动坐标科里奥利方程[5]，可以在此移动坐标系下得出如下等式：PhelicopterhelicopterVVP（4）其中，311(,,)(,,)(,,)xyzhelicopterxyzhelicopterxyzPPPPVVVV（5）像平面上的点r是场景中点P的投影，据此可以得到：(,,)ijxfrPfrrP（6）联立式（4）和（6），假设无人直升机定高飞行，则zV=0，无人直升机横侧向速度yV也可设定为零，则可以得出点r在像平面上的运动rM为：22()(1)(1)()ixyijzixjxrjxyjzijxixrVwrrwrwrPMfrVwrwrrwrP（7）我们对水平运动运动产生的光流和角运动产生的光流定义如下：itransxjxrVMfrP（8）22()(1)(1)()yijzixjrotyjzijxiwrrwrwrMfwrwrrwr（9）式（8）是无人直升机障碍回避所需光流分量的另一种表达，根据图像解算出的光流可以用如下表达式表述：transrotMMM（10）因此，当利用微分光流技术对图像解算出光流速度场后，需要结合式（9）和式（10）提取出水平光流分量，最后通过式（3）给出控制指令，控制无人直升机回避障碍。2光流平衡法实现本文中的仿真主要针对无人直升机贴地飞行时的自主障碍回避，因此假设无人直升机定高飞行，根据光流平衡控制律给出的偏航指令控制无人直升机模型绕过障碍物或在两个障碍物中间以实现障碍回避，因此本文仅对无人直升机横侧向运动进行仿真分析，仿真原理框图如下图2所示，无人直升机纵向机动由飞控系统控制。312右边光流-+0psik-+线性滤波线性滤波左边光流水平运动产生的光流提取argtet+PID飞机动态模型虚拟3D场景光流计算-图2基于光流的障碍回避系统仿真原理框图仿真系统的构成主要分为以下三个部分：摄像头、障碍回避视景仿真模块和光流计算与提取模块，上位机为光流计算与提取模块，执行光流的计算与提取命令，下位机为障碍回避视景仿真模块，进行无人直升机障碍回避的视景仿真，摄像头用来实时拍摄下位机仿真过程中的视景图像序列，上位机通过视频采集卡采集摄像头拍摄到的实时图像序列，并利用微分光流技术计算和提取出障碍回避所需的光流分量，最终对下位机发出偏航指令，下位机根据接收到的偏航指令进行无人直升机在虚拟三维场景下的障碍回避仿真。3光流平衡法仿真结果本文通过虚拟三维场景进行无人直升机贴地飞行时的障碍回避实时仿真，仿真过程中将场景中的树木和建筑物视为障碍，并假设障碍物之间的距离均足够大，允许无人直升机通过。无人直升机模型通过飞控系统保持定高飞行，且横侧向初始速度0yV，则无人直升机贴地飞行时实现障碍回避的飞行轨迹如下图3所示，图中圆圈代表场景中的树木，矩形代表建筑物，点S是起飞点：SS（a）（b）图3无人直升机障碍回避飞行轨迹本文利用单目摄像机，采用光流平衡法实现无人直升机的避障仿真，从而回避了双目摄像机中特征点匹配这个难题，而光流平衡法又无需景深信息，因此有效克服了目前视觉算法中存在的难点。本文针对光流法避障共进行仿真实验100次，图3无人直升机障碍回避飞行轨迹中仅画出了其中两次安全飞行的轨迹和对安全飞行有影响的11个障碍物，分别为8个建筑物和3棵树木，如图3所示。由于实验采用了微分光流技术，用到了大量的微分运算，尽管最后运用五点约束最小二乘法成功减313小了计算量，但是噪声和微分求取误差仍然对光流速度场的估计产生了一定的影响，进而影响了光流法障碍回避的鲁棒性。光流法避障实验成功率为87%，表明无人直升机贴地飞行时基于光流的障碍回避方法具有一定的可行性，我们下一步可以考虑通过改善光流速度场的鲁棒性来增加障碍回避的成功率。4结语仿生学的光流平衡法在国外的研究中已经得到了应用并取得了成功，本文利用此方法对无人直升机在虚拟三维场景下贴地飞行时的障碍回避进行了实时仿真，实验结果表明基于光流平衡法的无人直升机障碍回避方法具有一定的可行性。参考文献[1]T.Lam.SimulationofAutomaticRotorcraftNap-of-the-EarthFlightinGraphicsWorkstationEnvironment.AIM-92-4131-CP.[2]L.Muratet,S.Doncieux,Y.Briere,andJ.-A.Meyer.AContributiontoVision-BasedAutonomousHelicopterFlightinUrbanEnvironments.RoboticsandAutonomousSystems,2005,50(4):195-209.[3]L.Muratet,S.Doncieux,andJ.-A.Meyer.Abiomimeticreactivenavigationsystemusingtheopticalflowforarotary-wingUAVinurbanenvironment.InProceedingsoftheInternationalSessiononRobotics,2004.[4]Duchon,A.P.Mazenavigationusingopticalflow.Fromanimalstoanimats4:Proceedingsofthefourthinternationalconferenceonsimulationofadaptivebehaviour,1996.[5]ScottM.Ettinger,MichaelC.Nechyba.Vision-GuidedFlightStabilityandControlforMicroAirVehicles.ProceedingofIEEEInternationalConferenceonRoboticsandAutomation,2002.VisionObstacleAvoidanceforUnmannedHelicopterUsingOpticalFlowYangWen-fengXieQiangSongPan(ChineseFlightTestEstablishment,Xi'an,710089)Abstract:Theself-controlproblemofunmannedhelicoptertodetectandavoidobstaclesinnap-of-the-earth(NOE)playedanimportantroleinthesurvivalofunmannedhelicopter.Theprincipleoftheuseofcomputervisionwasstudiedusingopticalflowtoachieveabiomimeticreactivenavigationsystem,inthissystem,theopticalflowwascalculatedfromtheimagescapturedbytheunmannedhelicopteronboardcamera