搜索
第25卷第3期电子测量与仪器学报Vol.25No.32011年3月JOURNALOFELECTRONICMEASUREMENTANDINSTRUMENT·285·本文于2010年10月收到。*基金项目:国家自然科学基金资助(编号:60774102、51075252)资助项目;上海大学211重点学科建设项目资助。DOI:10.3724/SP.J.1187.2011.00285复杂光流场运动分析与特征提取*江济良屠大维周许超陈勇(上海大学机电工程与自动化学院,上海200072)摘要:针对车辆行车前方场景视频图像序列这一复杂光流场,提出一种基于光流分析的车辆行车环境特征实时提取方法:对固定在驾驶室的摄像机所拍摄的驾驶员视野前方行车视频图像序列进行区域分割,得到3个特征区域,采用五置信点光流算法对其中两个区域的光流场进行光流估计,并应用数理统计方法对其作置信空间和算术平均处理,提高了光流估计的鲁棒性,有效提取了自身行车速度、弯道、上下坡等特征信息;对另一区域进行帧间差分来实时提取夜间行车环境迎面车辆信息。行车实验结果表明:该方法抗干扰性强,实时性高,能有效地提取车辆行车环境特征信息,提取准确率达82.5%。该方法在自适应前照系统、智能交通系统中具有潜在的应用价值。关键词:光流场；特征提取；区域分割；置信空间；差分中图分类号:TP391.41文献标识码:A国家标准学科分类代码:510.4050MotionanalysisofcomplexopticalflowfieldandfeatureextractionJiangJiliangTuDaweiZhouXuchaoChenYong(SchoolofMechatronicsEngineeringandAutomationShanghaiUniversity,Shanghai200072,China)Abstract:Accordingtothecomplexopticalflowfieldofvideoimagesequenceswhicharefromfrontagesceneindrivingenvironment,anewmethodforextractingreal-timedrivingenvironmentfeaturebasedonopticalflowanalysiswasputforward.Thedrivingvideoimagesequences,whichweretakenfromforwardvisualfieldindrivingenvironmentbyafixedcamerainthecab,weresegmentedintothreeregions.Atfirst,theopticalflowfieldsofthetworegionswereestimatedbyanimprovedopticalflowalgorithmwithfive-confidence-pointconstraint.Thentheywereprocessedbycon-fidencespaceandarithmeticaveragewiththeprincipleofmathematicalstatistics.Sotheopticalflowestimationrobust-nesswasgreatlyimprovedandthefeatureinformationwaseffectivelyextracted,suchasdrivingspeed,curvesanddrivinguphillordownhill,etc.Themethodwithtwoconsecutiveframessubtractionwasappliedtoanotherregionforreal-timeextractingoncomingvehiclesinformationinnightdrivingenvironment.Thedrivingexperimentsshowthattheproposedmethodischaracterizedbyastronganti-interferenceandahighinstantaneity,andcanextractdrivingenvironmentfeatureinformationeffectively,aswellastheaccuracyratiooffeatureextractionis82.5%.Therefore,thismethodwillbeofpo-tentialapplicationvalueinAdaptiveFrontLightingSystemandIntelligentTransportationSystem.Keywords:opticalflowfield;featureextraction,regionsegmentation;confidencespace;subtraction1引言针对夜间交通事故相对较高的事实,发展先进车辆前照系统(AFS,adaptivefrontlightingsystem)是提高夜间驾驶安全性的一种有效的主动安全技术[1]。而AFS的前提之一在于及时准确地提取前方路况和迎面车辆等特征信息[2],包括前方路况信息、车道状况、周围车辆信息、道路标志、车辆自身状态等。从行驶车辆正前方获得与驾驶员视场基本一致的视频图像后,设法从中提取特征信息是一个富有挑战性的课题[3]。视频图像特征信息提取方法主要有图像灰度匹配法、特征匹配法和光流法3种。图像灰度匹配法[4-5]较简单,但是运算复杂,运行速度较慢。特征匹配法[6-7]·286·电子测量与仪器学报第25卷抗噪性能好,适于长时间大运动量的处理,但特征提取和对应关系的建立困难。光流法[8-11]优点在于光流不仅包含了被观察物体的运动信息,而且携带着有关景物三维结构的丰富信息。光流是空间运动物体在观测成像面上的像素运动的瞬时速度[12]。行车环境光流场不仅包含了全局运动和局部运动信息,而且还携带着上下坡引起的景物三维结构的变化信息,因此它是一个复杂光流场。本文采用基于光流分析的方法对车辆行车环境特征进行实时提取。首先对固定在驾驶室的摄像机所拍摄的驾驶员视野前方行车视频图像序列进行区域分割,然后采用改进的Horn-Schunck光流算法计算分割区域的光流场,对其作60%置信空间和算术平均处理,并对分割区域图像作帧间差分处理,实现了准确实时地提取车辆行车环境特征信息。2行车环境复杂光流场计算2.1行车视频图像采集行车视频图像是由固定在驾驶室的摄像机所拍摄的驾驶员视野前方行车视频图像序列。图1为行车视频采集的示意图。图1行车视频图像获取Fig.1Drivingvideoimageacquisition2.2光流约束方程Horn和Schunck于1981年根据图像灰度守恒原理推导出了光流约束方程[13]:0xytIuIvI++=(1)式中:Ix、Iy为图像灰度的空间梯度,It为图像灰度随时间的变化率,u和v分别为光流沿x和y方向的两个分量。2.3改进的Horn-Schunck光流计算方法在实际环境下,由于存在各种干扰,会导致像素点的时空梯度发生突变,使得运动图像的光流场呈现不均匀性。采用图2的高斯离散卷积核对当前像素点的时空梯度进行平滑处理。选取以当前像素点为中心的3×3区域,当前像素点对应的窗口标记为0,区域中其他像素点对应的窗口依次标记如图。将区域中其他像素点时空梯度分别与当前像素点时空梯度进行比较,根据最小均方误差的准则(使220000()()xiyxyixitxtiIIIIIIII−+−+200()yitytiIIII−较小),从该区域中选取包含当前像素点为中心的五点组成五置信点邻域Ω。其中窗口2′和3′的像素点从窗口2、4、5、7的像素点中选取,窗口1′和4′的像素点从窗口1、3、6、8的像素点中选取,选取的依据是两像素点的均方误差是四像素点均方误差中最小的2个。设(,,)fijt是图像在(,,)xyt点的强度,(,,1)fijt+是图像在(,,1)xyt+的强度,则图像(,,)xyt的时空梯度Ix、Iy和It为:[(1,,)(,,)(1,1,)(,1,)(1,,1)(,,1)(1,1,1)(,1,1)]/4[(,1,)(,,)(1,1,)(1,,)(,1,1)(,,1)(1,1,1)(1,,1xyIfijtfijtfijtfijtfijtfijtfijtfijtIfijtIijtfijtIijtfijtfijtfijtfijt=+−+++−++++−+++++−++=+−+++−++++−+++++−++)]/4[(,,1)(,,)(,1,1)(,1,)(1,,1)(1,,)(1,1,1)(1,1,)]/4tIfijtfijtfijtfijtfijtfijtfijtfijt=+−+++−++++−+++++−++(2)采用图2右上角的离散高斯卷积核W:(1,4,6,4,1)/16对式(2)计算结果局部平滑处理,得到当前像素图2五置信点平滑处理Fig.2Smoothingwithfive-confidence-point第3期复杂光流场运动分析与特征提取·287·点在x、y方向的空间及时间梯度为:*01234*01234*01234(64)/164(64)/164(644)/16xxxxxxyyyyyyttttttWIIIIIIWIIIIIIWIIIIII′′′′′′′′′′′′=++++=++++=++++(3)式中:*表示卷积,Ixi、Iyi和Iti表示窗口i的像素点的时空梯度。经过上述时空梯度的局部平滑处理之后,再利用Horn-Schunck光流算法计算当前像素点x、y方向的光流速度:()()0()()0xytxxytyWuWvWWuuIIIIWuWvWWvvIIIIλλ∗⋅+∗⋅+∗⋅∗+−=∗⋅+∗⋅+∗⋅∗+−=(4)式中:λ是拉格朗日乘子,可根据计算光流的时空梯度的精度而定。u和v是当前像素点的加权平均速度,采用如图3所示的窗口函数W(m)进行加权平均处理。图3窗口函数W(m)Fig.3Windowfunction设当前像素点的光流速度为u0、v0,选出的八邻域内的像素点的光流速度为ui、vi,1≤i≤8。当前像素点对应窗口中心的权重值为4,其他像素点对应窗口的权重值如图所示。则当前像素点在x、y方向的光流速度的加权平均速度可表示为:012345678012345678(42222)/16(42222)/16uuuuuuuuuuvvvvvvvvvv=+++++⎧⎪+++⎪⎨=+++++⎪⎪+++⎩(5)采用式(6)的递归方程迭代求解式(3):t122t122(*)(*)*(*)(*)(*)(*)(*)*(*)(*)(*)kkxykkxyxkkxykkxyyWIuWIvWIuuWIWIWIWIuWIvWIvvWIWIWIλλ++⎧⋅+⋅+⎪=−⋅++⎪⎪⎪⎨⋅+⋅+⎪=−⋅⎪++⎪⎪⎩(6)式中:k是循环数;u0、v0是光流的初始估计值,可取为零。当迭代运算结果满足事先给定的估计容差ε1和ε2或超过最大的迭代次数kmax时,迭代计算结束,即:()(1)1||nnuuε−−≤()(1)2||nnvvε−−≤或maxkk。3行车环境复杂光流场区域分割计算和行车环境特征提取3.1行车环境复杂光流场区域分割计算将整个光流场分割成A、B、C三个区域,如图4所示。采用本文改进的Horn-Schunck光流算法分别对A、B两个区域的光流场进行计算。这样既能减少干扰保证算法的准确度,又能减少运算量缩短计算时间。图4视频图像区域分割Fig.4Regionsegmentationofvideoimage3.2行车环境特征提取3.2.1行车速度、弯道特征提取取图4中区域A窗口为20×100像素。设区域A中各像素光流值为(u(i,j),v(i,j)),其中(i,j)为像素点的行和列。考虑到区域A内各像素的实际光流应该较为接近,因此,对所