SLAM研究进展

视觉SLAM研究2015.9秋季学期组会报告清华大学导航中心高翔提纲SLAM基本概念◦SLAM是什么？◦为何要做SLAM？◦SLAM的现状？发展历程我的研究工作◦基于平面特征点的RGB-DSLAM◦基于SDA深度网络的回环检测技术◦基于CRF的RGB-D场景语义解析SLAM基本概念SLAM基本概念智能机器人技术◦应用：工业、家庭、商务◦案例：扫地机器人、家用机器人、无人机、智能手机、可穿戴设备◦任务：路径规划、人机交互、搬运、操作、定位与建图(SLAM)SLAM基本概念SLAM：SimultaneousLocalizationandMapping◦Localization:定位◦Mapping:建图SLAM基本概念定位建图WhereamI?Whatisaroundme?相互依赖又互为因果的两个问题。SLAM基本概念WhySLAM？◦SLAM是机器人进入未知环境遇到的第一个问题。◦是路径规划及许多其他任务的前提。◦是实现机器人自主性的关键。SLAM基本概念未知环境◦指机器人没有先验知识的环境◦室内、室外均可简化◦环境物体为静态刚体◦机器人是环境中唯一能够运动的实体虽然有些过于简单，但是早期SLAM系统确实是建立在这些简化的假设之上。SLAM基本概念SLAM研究的现状？◦定位+建图基本理论已经成熟◦若干经典的实现方案◦正在开始应用到市场◦习大大：要把我国机器人水平提高上去，尽可能多地占领市场。——2014年两院院士大会SLAM基本概念SLAM基本概念SLAM基本概念SLAM发展历程SLAM发展历程史前：-1990EKF主导时期：1990-2005BA转型时期：2006-2010前沿：2010-SLAM发展历程史前：-1990◦未形成SLAM概念◦仅在地图已知的情况下研究定位问题例◦[Leonard90],[Leonard91]◦根据已有的标记物进行定位◦已知地图SLAM发展历程EKF主导时期：1990-20051986-1990.[Smith86][Smith90]首次清楚地定义Localization+Mapping问题提出以EKF模型求解SLAM，成为后十五年SLAM问题的主导模型EKF的优势◦对定位与建图中的误差进行建模◦同时考虑两个问题◦模型简单，易于实现SLAM发展历程早期EKFSLAM举例：[Leonard91],[Castellanos98],[Davison98],[Newman99][Castellanos98]:MobileRobotLocalizationandMapBuilding:AMultisensorFusionApproach,PhDThesis,1998.•Sensorfusion:图像+Laser•EKF框架•Laser为主的定位SLAM发展历程21世纪：视觉SLAM的开端[Davison98],[Davison03],[Se02],[Chiuso02][Se02]:MobileRobotLocalizationandMappingwithUncertaintyusingScale-InvariantVisualLandmarks,IJRR,2002.双目相机，特征点运动估计，EKF框架*作者在04年提出了SIFT特征，但在02年已经应用于机器人系统了。SLAM发展历程21世纪：视觉SLAM的开端[Davison03]:Real-TimeSimultaneousLocalisationandMappingwithaSingleCamera,ICCV,2003单目相机，EKF框架最早的实时SLAM系统，成为之后许多单目系统的鼻祖*Davison本人也是业界传说之一，领导帝国理工大学的机器人视觉组做出了很多前沿贡献。SLAM发展历程EKF局限性◦线性化假设◦平方复杂度——数百个特征和姿态点◦稀疏路标地图◦滤波器的时间串行性质(sequentialnature)◦对数据关联敏感◦难以实现闭环改进◦其他滤波器：PF,RBPF,IF,UKF,etc.◦BA方法：2006以后SLAM发展历程滤波器思路的改进◦粒子滤波器(PF)及RBPF[Grisetti07].FastandaccurateSLAMwithRao-Blackwellizedparticlefilters,RAS,2007.[Sim07].AStudyoftheRao-BlackwellisedParticleFilterforEfficientandAccurateVision-BasedSLAM,IJCV.◦FastSLAM[Montemerlo02]FastSLAM:Afactoredsolutiontothesimultaneouslocalizationandmappingproblem.AAAI.[Hahnel03].AnefficientFastSLAMalgorithmforgeneratingmapsoflarge-scalecyclicenvironmentsfromrawlaserrangemeasurements.IROS.◦分治EKF[Paz08].DivideandConquer:EKFinO(n).TRO,2008.◦其他参见[Chen12]SLAM发展历程BA转型时期:2006-2010◦根本上不同于滤波器的框架什么是BA(BundleAdjustment)?◦优化所有帧位姿约束的误差◦起源于摄影几何，2000年引入StructurefromMotion(SfM)[Triggs00]◦SfM代表性工作：BuildingRomeinoneday[Agarwal09].SLAM发展历程2006-2010◦发现SLAM和SfM中许多共同点◦将BA引入SLAM，并成为VisualSLAM中的主导方法代表性工作◦PTAM:◦[Klein07].ParalleltrackingandmappingforsmallARworkspaces,ISMAR.◦VisualSLAM里程碑式工作◦单目,BA框架,虚拟现实◦提出以不同频率求解定位与建图，用两个单独的线程处理之；SLAM发展历程2006-2010代表性工作◦FrameSLAM◦[Konolige08]:FrameSLAM:FromBundleAdjustmenttoReal-TimeVisualMapping,TRO.◦只保留位姿约束，特征只用于帧间匹配，在大范围内进行SLAMSLAM发展历程随着BA进一步应用，研究者们开始讨论滤波器与BA的优劣。[Strasdat12]:Visualslam:Whyfilter?ImageandVisionComputing.◦认为在单位计算量前提下，BA方法能得到更多有效的信息SLAM发展历程前沿研究：2010至今◦日益成熟的系统与软件RGBD-SLAM-V2:[Endres14].SLAM++:[Salas-Moreno13].LSD-SLAM:[Engel14]ORB-SLAM:[Mur-Artal15].SVO:[Forster14]KinectFusion:[Newcombe11]DTAM:[Newcombe11]DensePlanarSLAM:[Salas-Moreno14]OpenRatSLAM:[Milford10]G2O:[Kummerle11]SBA:[Lourakis09]iSAM:[Kaess09]SLAM发展历程前沿研究：2010至今丰富的传感器◦单目相机◦双目/多目相机◦深度相机(RGB-D)◦全景相机◦2D转轴雷达◦可穿戴设备◦GPUSLAMSLAM发展历程前沿研究：2010至今复杂的环境◦非特征点SLAM：[Rao12],[Salas14]◦动态环境：[Einhorn14],[Yangming13]◦多机器人协作：[Zou13],[Balzer13],[Maddern12]◦长时间SLAM：[Tipaldi13],[Bacca13]◦语义信息：[Cadena14],[Siagian14],[Fioraio13]◦拓扑/网格地图：[Besson10]SLAM发展历程过去◦WhereamI?——定位◦Whatisaroundme?——建图现在◦WhatIcandowithit?SLAM发展历程WhatIcandowithit?◦过去：静态、刚体的环境——基本解决◦现在的环境人员密集柔性物体运动物体动态光照理解环境内容我的研究工作我的研究工作1.传感器信息处理2.回环检测3.语义场景理解我的研究工作1.传感器信息处理◦方法：基于平面特征点的RGB-DSLAM.◦XiangGao,TaoZhang,RobustRGB-Dsimultaneouslocalizationandmappingusingplanarpointfeatures,RoboticsandAutonomousSystems,Vol.72,1-14,2015◦特点：针对Kinect特性对点云进行了预处理◦结论：平面点特征能更准确地估计运动我的研究工作回环检测◦方法：使用层叠编码机(SDA)检测图像相似性◦XiangGao,TaoZhang,LoopClosureDetectionforVisualSLAMSystemsUsingDeepNeuralNetworks,CCC,2015◦XiangGao,TaoZhang,UnsupervisedLearningtoDetectLoopsUsingDeepNeuralNetworksforVisualSLAMSystem,AutonomousRobots,UnderReview.◦特点：自动学习图像特征，计算相似性◦结论：学习的特征能够有效地检测闭环我的研究工作回环检测我的研究工作语义场景理解◦方法：使用条件随机场生成带标记的地图◦绿:Ground青:Structure紫:Furniture蓝:Props◦Problem:场景理解针对单张图片，而SLAM是运动过程，如何结合？我的研究工作其他◦科普性质工作我的研究工作未来的研究问题◦GPU加速SLAM◦动态场景运动分离技术◦主动SLAM：SLAM+Exploration谢谢大家！