开题报告-gx-室内机器人的视觉定位与建图

室内机器人的视觉定位与建图清华大学博士生开题报告博士生：高翔导师：宋靖雁教授指导老师：张涛教授清华大学自动化系导航中心2015.41.选题背景2.相关研究3.研究内容与创新点4.进度安排5.已有成果1.选题背景•协同定位与建图SimultaneousLocalizationandMapping1.选题背景•机器人▫搭载各种传感器的移动平台▫激光、相机、声呐、深度相机等•轨迹•地图1.选题背景•SLAM▫自主机器人的核心技术；▫21世纪机器人领域发展最快的十大技术之一；▫机器人研究领域的圣杯[Adam14]；▫应用：导航、远程操作、服务、生产等。•已有三十多年的研究（86年起）•仍处于研究室阶段，未在市场上利用•原因：理论假设较为简单，而实际环境复杂多变[Adam14]:AdamsM,VoBN,MahlerR,etal.Slamgetsaphd:Newconceptsinmapestimation.IEEERoboticsAutomationMagazine,2014,21(2):26–37.1.选题背景SLAMSensor•Laser•Camera•SonarLocalization•Feature•RegistrationMapping•Metric•TopologicalLoopClosure•Appearance•LearningAdvancedTopics•Dynamic•Multi-robotSLAM并不是单一的某个算法，它是一个具有许多子问题的系统。2.相关研究•问题的提出：1986-1989Smith系列论文《空间位置的表达与估计》（Ontherepresentationandestimationofspatialuncertainty）[Smith86]•环境：路标(Landmark)的集合；•观测数据：视野内路标与机器人的距离与夹角•目的：计算机器人的轨迹与路标位置[Smith86]:SmithRC,CheesemanP.Ontherepresentationandestimationofspatialuncertainty.InternationalJournalofRoboticsResearch,1986,5(4):56–68.2.相关研究2.相关研究•模型：1,,,kkkkkhkxfxuwzhxv运动方程：观测方程：尽管传感器的具体形式千差万别，但抽象的公式是统一的。2.相关研究•前期的大量研究：在此模型上，构建扩展卡尔曼滤波器（ExtendedKalmanFilter）求解：111(,)kkkTTkkxfxuPAPAWQW111,0()kTTkkhhxKPHHPHVRUxxKzh预测部分更新部分2.相关研究•例子：•Lowe的基于SIFT双目视觉SLAM。[Se02]•Davison的实时单目SLAM。[Davison07][Se02]:SeS,LoweD,LittleJ.Mobilerobotlocalizationandmappingwithuncertaintyusingscaleinvariantvisuallandmarks.TheinternationalJournalofroboticsResearch,2002,21(8):735–758.[Davison07]:DavisonA,ReidI,MoltonN,etal.Monoslam:Real-timesinglecameraSLAM.IEEETransactionsonPatternAnalysisandMachineIntelligence,2007,29(6):1052–1067.2.相关研究EKF局限性：•保存所有路标的均值与协方差矩阵：O(n^2)•线性化假设•高斯噪声假设•对数据关联的敏感性•路标地图不够直观2.相关研究•随后几年的发展：▫粒子滤波器（ParticleFilter）[Sim07]，对数据关联容错性高，计算量相对较大。▫FastSLAM[Montemerlo02]，结合EKF与PF的优势。▫线性EKF[Paz08]，分治法求解EKF。[Sim07]:Simetal.AStudyoftheRao-BlackwellisedParticleFilterforEfficientandAccurateVision-BasedSLAM,InternationalJournalofComputerVision,74(3):303-318[Montemerlo02]:Montemerloetal.,FastSLAM:Afactoredsolutiontothesimultaneouslocalizationandmappingproblem,EighteenthNationalConferenceOnArtificialIntelligence(AAAI-02),2002,593-598[Paz08]:Pazetal.,Divideandconquer:EKFSLAMinO(n),IEEETransactionsonRobotics,2008,24(5):1107-11202.相关研究•滤波器以外的思路：优化方法，起源于SFM的BA方法[Triggs00]•看作对各变量的约束，建立优化问题。1,,,kkkkkhkxfxuwzhxv1,,,,,11()(())kmnTikikikikikkiJzhxRzhx[Triggs00]:Triggsetal.,Bundleadjustment:amodernsynthesis.Visionalgorithms:theoryandpractice,Springer,2000.2.相关研究•图优化：优化变量=节点约束=边•优化问题=G(V,E)•考虑所有时间的约束，称为全SLAM（FullSLAM）2.相关研究•基于图优化的方法称为姿态图（PoseGraph）•优点：▫直观▫利用所有数据▫对数据关联容错率高▫易于表达回环检测▫稀疏性[Sibley09][Sibley09]:Sibleyetal.,Adaptiverelativebundleadjustment,Robotics:scienceandsystems,2009.2.相关研究•例子•FrameSLAM[Konolige08]•RGB-DSLAM[Endres14][Konolige08]:KonoligeK,AgrawalM.Frameslam:Frombundleadjustmenttoreal-timevisualmapping.IEEETransactionsonRobotics,2008,24(5):1066–1077.[Endres14]:EndresF,HessJ,SturmJ,etal.3-dmappingwithanrgb-dcamera.IEEETransactionsonRobotics,2014,30(1):177–187.3.研究内容与创新点a)RGB-D相机的特征选择b)利用深度学习方法进行回环检测c)动态环境下的SLAMd)多机器人协作SLAM3.研究内容与创新点a)RGB-D相机的特征选择•目前RGB-DSLAM仍使用传统的视觉SLAM方法。3.研究内容与创新点•视觉方法缺点：特征位于物体边缘-深度不稳定•选择深度稳定的点进行匹配3.研究内容与创新点•平面特征点▫先估计平面▫恢复平面上图像▫提取特征•创新点▫利用新兴的深度相机▫有效地利用RGB-D数据▫更精确，失误率低3.研究内容与创新点b)深度学习回环检测•回环检测是SLAM中的重要一环•识别机器人曾到达过的地方3.研究内容与创新点b)深度学习回环检测•传统方法：基于词袋模型（Bag-of-Words）[Cadena12]▫需要人工设计特征▫对光照变化适应性差•深度学习方法▫自动学习特征▫从原始数据出发[Cadena12]:CadenaC,Galvez-LopezD,TardosJD,etal.Robustplacerecognitionwithstereosequences.IEEETransactionsonRobotics,2012,28(4):871–885.3.研究内容与创新点b)深度学习回环检测•无先验信息：非监督学习•使用层叠降噪自动编码器（stackedauto-encoder）3.研究内容与创新点b)深度学习回环检测创新点：•深度学习技术尚未应用于SLAM领域；•为回环检测问题带来新的理解•无需人工设计特征3.研究内容与创新点c)动态环境下的SLAMd)多机器人协作SLAM•SLAM的高级话题▫没有得到充分的研究▫没有公认的方法▫是SLAM技术走向实用的必经之路3.研究内容与创新点•例子•CoSLAM[Zou13]•SLAM++[Salas-Monreno13]•CooperativeSLAM[Benedettelli12][Zou13]:ZouD,TanP.Coslam:CollaborativevisualSLAMindynamicenvironments.IEEETransactionsOnPatternAnalysisAndMachineIntelligence,2013,35(2):354–366.[Salas-Monreno13]:Salas-MorenoRF,NewcombeRA,StrasdatH,etal.Slam++:Simultaneouslocalisationandmappingatthelevelofobjects.2013IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2013.1352–9.[Benedettelli12]:BenedettelliD,GarulliA,GiannitrapaniA.Cooperativeslamusingm-spacerepresentationoflinearfeatures.RoboticsandAutonomousSystems,2012,60(10):1267–1278.4.进度安排2015.4-2015.10深度学习与闭环检测2015.11-2016.5动态环境SLAM2016.6-2016.12多机器人协作SLAM2017.1-2017.5整理工作，撰写论文5.已有成果发表论文：1.XiangGao,TaoZhang.RobustRGB-DSimultaneousLocalizationandMappingUsingPlanarPointFeatures,RoboticsandAutonomousSystems,2015,accepted.(SCI收录)2.XiangGao,TaoZhang,JingyanSong.TaskPlanningandSimulationPlatformforOn-OrbitServiceMulti-RobotSystem,Guidance,IEEEChineseNavigationandControlConference(CGNCC),2014,33-37.(EI收录)3.高翔,王正,丁见亚,杨倩,基于复合叶片特征的计算机植物识别方法,植物学报,2014,49(4):450-461.(中文核心)4.QiangMeng,TaoZhang,XiangGao,Jing-yanSong,Adaptiveslidingmodefault-tolerantcontroloftheuncertainstewartplatformbasedonofflinemultibodydynamics,IEEETransactionsonMechatronics,2014,19(3):882-894.(SCI收录)5.XiangGao,TaoZhang,LoopClosureDetectionforVisualSLAMSystemsUsingDeepNeuralNet