单目摄像头实时视觉定位

上海交通大学硕士学位论文单目摄像头实时视觉定位姓名：徐宁申请学位级别：硕士专业：控制理论与控制工程指导教师：陈卫东20080201上海交通大学硕士学位论文I单目摄像头实时视觉定位算法摘要基于视觉信息的移动机器人自定位是机器人自主导航的关键技术之一，其难点在于如何提高视觉系统的鲁棒性，以适应变化的自然环境，如何从单个摄像头准确恢复深度信息，以确定机器人自身位姿，以及如何提高算法实时性，以满足机器人自身运动的快速性和灵活性。本文对该问题进行了深入研究，旨在构建一个完整的视觉定位系统，使用单个摄像头采集场景图像，并实时计算相机相对参考路标的三维姿态。首先，本文回顾和总结了现有的视觉定位和导航算法，提出了单目摄像头实时定位算法的体系结构。该结构从视觉和图像处理的角度出发，结合了基于不变特征的目标识别、特征跟踪和位姿估计算法。算法先识别场景中的视觉路标，接着实时跟踪已识别路标，同时计算摄像头相对路标的三维位姿。此外，算法充分考虑了三个模块之间的内在联系，通过并行计算，昀大限度提高了实时性。其次，本文提出了Harris-SIFT特征提取算子，分析了算法原理，指出了它相对SIFT的性能改进和优点。接着，本文详细介绍了基于Harris-SIFT的目标识别系统，包括数据库的建立、特征提取、近似昀近邻居匹配、一致性检验、识别评估。该目标识别系统具有较好的鲁棒性、准确性和实时性，是视觉定位的核心，保证定位可以在变化的自然环境中可靠运行。然后，本文对跟踪和定位算法进行了研究，分析了识别和跟踪相结合的可行性和意义，阐述了双线程并行计算的设计思想和具体的实现细节。而后，本文介绍了共面POSIT位姿估计算法的原理，以及与跟踪、识别算法的结合。其上海交通大学硕士学位论文II中，为了得到参考物体特征点的三维坐标，本文设计并使用了逆透视成像模型，需要对摄像机进行标定。昀后，在上述研究的基础上，本文通过多个实验验证了算法的性能，包括Harris-SIFT与同类特征提取算子的比较，自然环境下的目标识别和图像检索，这些实验表明基于Harris-SIFT的目标识别算法鲁棒性较强，准确性较高，实时性较好。此外，本文使用单个手持USB摄像头采集实时视频流，并运行视觉定位算法，检验定位性能。结果表明，该算法可以同时快速识别场景中的多个自然路标，并实时输出相机相对跟踪的3D位姿，且在定位精度较为可靠，圆满实现了设计要求。关键词：视觉定位，Harris-SIFT，目标识别，特征跟踪，位姿估计上海交通大学硕士学位论文IIIREAL-TIMEVISIONLOCALIZATIONWITHASINGLECAMERAABSTRACTWhilevision-basedself-localizationhasbeenthecoremethodforautonomousnavigationformobilerobots,thisapproachsuffersfromthreemajordifficulties,thatare,howtodesignarobustvisionsystemthatcouldbeappliedindynamicnaturalenvironment,howtorestorethedepthinformationwithasinglecamerainordertoestimatethe3Dposeoftherobot,andhowtoachievereal-timeperformanceinordertocatchupwiththehighspeedandsmartnessofthemovingrobots.Inthispaper,westudydeepintothisresearchtopic,andpresentavisualrecognitionsystemthatcouldreal-timelycalculatetherelative3Dposeofahand-heldcamerawithrespecttocoplanarvisuallandmarks.Firstly,wereviewthestateofartsofcurrentvisionlocalizationandnavigationalgorithms,thenpresenttheframeworkofourreal-timevisuallocalizationalgorithm,whichcombinesobjectrecognitionwithlocalinvariantfeatures,featuretrackingandposeestimation.Firstlyitdetectsfeaturesfromlivevideostream,findsobjectspreviouslylearnedoff-line,thenreal-timelytrackstherecognizedtargetsacrossvideoframes,andatthesametime,calculatesthe3Dposeofthecamerawithrespectto上海交通大学硕士学位论文IVlandmarksinthescene.Inaddition,wehavefullyconsideredtheintrinsicconnectionsbetweenthethreemodules,andintroducetheconceptofparallelcomputingtomaximizetherun-timeperformance.Next,weproposeourHarris-SIFTfeaturedetector,includingprinciples,meritsandimprovementcomparedwithSIFT.Afterthat,wedetailstheHarris-SIFTbasedrecognitionsystem,whichiscomposedofavisuallandmarkdatabase,featuredetector,approximatenearestneighborsearching,consistencychecking,andevaluationofrecognitionresults.Experimentshowsthatthisrecognitionsystemisquiterobustandfast,workingwellindynamicnaturalenvironment.Thenwemovetothetrackingandlocalizationalgorithm,analyzethepossibilityandsuitabilityofthecombinationofrecognitionandtrackingalgorithm,andillustratetheideaandimplementationdetailsoftheparallelcomputingstructure.Inthefollowing,weintroducetheposeestimationalgorithm,namedPOSIT,andexplainthemechanismofthewholelocalizationalgorithm.Besides,sincetheperspectivecameramodelisusedtocomputethe3Dcoordinatesoffeaturesextractedfromcoplanarlandmarks,wealsobrieflyreviewZhang’scameracalibrationmethod.Finally,aserialofexperimentsispresentedtotestandverifytheperformanceofouralgorithms.Someoftheexperiments,say,comparisonofHarris-SIFTwithitsseveralpeers,imageretrievalinlargeimage上海交通大学硕士学位论文Vgallery,multipleobjectrecognitioninnaturalenvironment,illustratethehighrobustness,accuracy,andreal-timeperformanceofHarris-SIFTbasedrecognitionsystem.Inthevisuallocalizationexperiment,wesuccessfullyrestoredtherelative3Dposeofahand-heldcamera,whichcouldmovierapidlyandarbitrarilyinthespace.Itcouldbeconcludedfromalltheseexperimentsthatourvisuallocalizationalgorithmisquitepromisingfortheapplicationofvisuallocalizationwithonlyasinglecamera.Keyword:Visuallocalization,Harris-SIFT,Objectrecognition,Poseestimation上海交通大学硕士学位论文上海交通大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：徐宁日期：2008年2月18日上海交通大学硕士学位论文上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本学位论文属于不保密√。（请在以上方框内打“√”）学位论文作者签名：徐宁指导教师签名：陈卫东日期：2008年2月18日日期：2008年2月18日上海交通大学硕士学位论文1第一章绪论1.1引言移动机器人的研究始于20世纪60年代末期，美国斯坦福大学在1972年制造了名为Shakey的自主移动机器人[1]，以研究应用在复杂环境下机器人系统的自主控制和规划。近几年，移动机器人技术得到了飞速发展。眼下，世界各地的机器人公司和科研机构正加紧开发研制各种智能自主移动服务机器人应用到各种危险或者极端环境下代替人类工作。自主移动机器人是指在完全未知环境中，集环境感知、动态决策与规划、行为控制与执行等功能于一体的具有高度自动化程度的智能化装置。其自主性主要体现在对环境的感知和理解、行为自主规划以及自我学习和自我适应的能力方面。作为一种复杂的智能系统，自主移动机器人的研究涉及计算机视觉、模式识别、传感器及多传感器感知与信息融合技术、人工智能、自动控制等诸多学科的理论和技术，集中体现了计算机技术和人工智能的昀新成果，在军事和民用方面显示出越来越广泛的应用价值。导航是自主移动机器人的关键技术之一，即机器人依靠自身传感器，检测和分析环境信息，结合特定任务，规划自身运动轨迹。比如无人驾驭车辆需要通过视觉或激光传感器识别道路和障碍物，并根据自身位置以及目的地方位，规划运行路径，实现自动驾驭。在导航过程中，机器人需要精确知道自身当前位置，以完成局部避障或是全局规划，这就是定位问题。具体的说，就是利用先验环境地图信息、机器人位姿的当前估计以及传感器的观测值等输入信息，经过一定的处理和变换，产生更加准确的对机器人当前位姿的估计。自主移动机器人定位系统已有广泛研究，一