转：SLAM算法解析：抓住视觉SLAM难点，了解技术发展大趋势

SLAM(Simultaneous Localization and Mapping)是业界公认视觉领域空间定位技术的前沿方向，中文译名为“同步定位与地图构建”，它主要用于解决机器人在未知环境运动时的定位和地图构建问题。本次阅面科技资深研究员赵季也将从SLAM方向着手，为你们展示更深层次的技术干货。

 

 

赵季：阅面科技资深研究员。2012年获华中科技大学博士学位，2012年至2014年在CMU机器人研究所作博士后。曾在三星研究院从事深度相机、SLAM、人机交互方面的研究。目前专一于空间感知技术的研发。

 

 

目前科技发展速度飞快，想让用户在AR/VR、机器人、无人机、无人驾驶领域体验增强，仍是须要更多前沿技术作支持，SLAM就是其中之一。实际上，有人就曾打比方，如果手机离开了WIFI和数据网络，就像无人车和机器人，离开了SLAM同样。

 

SLAM主要解决的是相机在空间中的定位、以及建立环境的地图。在当前比较热门的一些创业方向中，均可以看到它的身影：

 

• 在VR/AR方面，根据SLAM获得地图和当前视角对叠加虚拟物体作相应渲染，这样作可使得叠加的虚拟物体看起来比较真实，没有违和感。

   

• 在无人机领域，可使用SLAM构建局部地图，辅助无人机进行自主避障、规划路径。

   

• 在无人驾驶方面，可使用SLAM技术提供视觉里程计功能，而后跟其余的定位方式融合。

   

• 机器人定位导航方面，SLAM能够用于生成环境的地图。基于这个地图，机器人执行路径规划、自主探索、导航等任务。

 

SLAM技术的发展距今已有30余年的历史，涉及的技术领域众多。因为自己包含许多步骤，每个步骤都可以使用不一样算法实现，SLAM技术也是机器人和计算机视觉领域的热门研究方向。

 

SLAM技术大解析

 

SLAM的英文全程是Simultaneous Localization and Mapping，中文称做“同时定位与地图建立”。SLAM试图解决这样的问题：一个机器人在未知的环境中运动，如何经过对环境的观测肯定自身的运动轨迹，同时构建出环境的地图。SLAM技术正是为了实现这个目标涉及到的诸多技术的总和。

 

SLAM技术涵盖的范围很是广，按照不一样的传感器、应用场景、核心算法，SLAM有不少种分类方法。按照传感器的不一样，能够分为基于激光雷达的 2D/3D SLAM、基于深度相机的RGBD SLAM、基于视觉传感器的visual SLAM（如下简称vSLAM）、基于视觉传感器和惯性单元的visual inertial odometry（如下简称VIO）。

 

基于激光雷达的2D SLAM相对成熟，早在2005年，Sebastian Thrun等人的经典著做《几率机器人学》将2D SLAM研究和总结得很是透彻，基本肯定了激光雷达SLAM的框架。目前经常使用的Grid Mapping方法也已经有10余年的历史。2016年，Google开源了激光雷达SLAM程序Cartographer，能够融合IMU信息，统一处理2D与3D SLAM 。目前2D SLAM已经成功地应用于扫地机器人中。

 

2006年使用激光雷达生成的实验室地图

 

基于深度相机的RGBD SLAM过去几年也发展迅速。自微软的Kinect推出以来，掀起了一波RGBD SLAM的研究热潮，短短几年时间内相继出现了几种重要算法，例如KinectFusion、Kintinuous、Voxel Hashing、DynamicFusion等。微软的Hololens应该集成了RGBD SLAM，在深度传感器能够工做的场合，它能够达到很是好的效果。

 

视觉传感器包括单目相机、双目相机、鱼眼相机等。因为视觉传感器价格便宜，在室内室外都可以使用，所以vSLAM是研究的一大热点。早期的vSLAM如monoSLAM更多的是延续机器人领域的滤波方法。如今使用更多的是计算机视觉领域的优化方法，具体来讲，是运动恢复结构（structure-from-motion）中的光束法平差（bundle adjustment）。在vSLAM中，按照视觉特征的提取方式，又能够分为特征法、直接法。当前vSLAM的表明算法有ORB-SLAM、SVO、DSO等。

 

 

视觉SLAM

 

视觉传感器对于无纹理的区域是没有办法工做的。惯性测量单元（IMU）经过内置的陀螺仪和加速度计能够测量角速度和加速度，进而推算相机的姿态，不过推算的姿态存在累计偏差。视觉传感器和IMU存在很大的互补性，所以将两者测量信息进行融合的VIO也是一个研究热点。按照信息融合方式的不一样，VIO又能够分为基于滤波的方法、基于优化的方法。VIO的表明算法有EKF、MSCKF、preintegration、OKVIS等。Google的Tango平板就实现了效果不错VIO。

 

总的来讲，相比于基于激光雷达和基于深度相机的SLAM，基于视觉传感器的vSLAM和VIO还不够成熟，操做比较难，一般须要融合其余传感器或者在一些受控的环境中使用。

 

Visual SLAM为何比较难？

 

咱们经过分析传感器的测量信息作个定性的分析。激光雷达或者RGBD相机能够直接获取环境的点云。对于点云中的一个点，它告诉咱们在某个方位和距离上存在一个障碍点。而视觉传感器获取的是灰度图像或者彩色图像。对于图像中的一个像素，它只能告诉咱们在某个方位有障碍点、障碍点周围的表观（local appearance）如何，但它不能告诉咱们这个障碍点的距离。要想计算该点的距离，须要把相机挪动一个位置再对它观察一次，而后按照三角测量的原理进行推算。

 

原理上很清晰，实际作起来并不简单。首先须要在两幅图像中寻找点的对应，这涉及到特征点的提取和匹配、或者准稠密点之间的匹配。计算机视觉发展到今天，其实还不存在性能和速度上很好知足vSLAM的特征提取和匹配算法。常见的特征点提取算法，性能上大体能够认为SIFT>SURF>ORB>FAST，效率上能够认为FAST>ORB>SURF>SIFT（大于号左边表明更优。性能主要包括匹配精度、特征点的数量和空间分布等）。为了在性能和效率上取得折中，一般采用FAST或者ORB，只能舍弃性能更好的SIFT、SURF等。

 

其次，匹配点的图像坐标与空间坐标之间的关系是非线性的，例如2D-2D点的对应知足对极几何、2D-3D点的对应知足PnP约束。这些匹配数量较多，先后两帧图像中通常有几十至数百的匹配。这些匹配会引入众多约束关系，使得待估计变量的关系错综复杂。为了获得一个较优的估计，一般须要创建优化问题，总体优化多个变量。提及来这无非是一个非线性最小二乘优化问题，但实现起来并不简单，由于存在非线性约束、约束数量不少、存在偏差和野值点，而且要将计算时间控制在容许范围。目前普遍采用关键帧技术，而且经过不少方法来控制问题规模、保持问题的稀疏性等。

 

非线性优化问题的形象图示。圆饼表明待优化的变量（相机姿态、特征点的空间坐标），杆子表明约束（对线几何、PnP等）。

 

前面分析了vSLAM的两个困难。前者致使了前端的特征跟踪不易，后者致使了后端的优化不易。想作出一个高效率、鲁棒的vSLAM系统仍是一个很是有挑战的任务。效率方面，SLAM必须是实时运行的。若是不能作到实时，就不能称做SLAM。不考虑实时性，采用从运动恢复结构（structure-from-motion）效果会更好。鲁棒性方面，一个脆弱的系统会致使用户体验不好，功能有限。

 

使用structure-from-motion对玲珑塔进行三维重建

 

vSLAM的核心算法

 

预备阶段，包括传感器的选型和各类标定。Visual SLAM自PTAM算法以来，框架基本趋于固定。一般包括3个线程，前端tracking线程、后端mapping优化线程、闭环检测（loop closure）线程。

 

前端tracking线程主要涉及到：

 

(1) 特征的提取、特征的匹配；

 

(2) 多视图几何的知识，包括对极几何、PnP、刚体运动、李代数等。

 

后端优化线程涉及到非线性最小二乘优化，属于数值优化的内容。闭环检测线程涉及到地点识别，本质上是图像检索问题。对于VIO，还涉及到滤波算法、状态估计等内容。

 

将SLAM算法拆解了看，用到的技术是偏传统的。与当前大热的深度学习“黑箱模型”不一样，SLAM的各个环节基本都是白箱，可以解释得很是清楚。但SLAM算法并非上述各类算法的简单叠加，而是一个系统工程，里面有不少tradeoff。若是仅仅跑跑开源程序，没有什么核心竞争力。不管是作产品仍是作学术研究，都应当熟悉各类技术，才能有所创造。

 

SLAM的将来发展趋势

 

VSLAM的发展感受是中规中矩，各个环节在前人的基础上一点点优化，同时不断吸取其余方向的最新成果。短时间内确定会在现有框架下不停地改进。至于长远一些的趋势，IEEE TRO 2016有一篇综述文章Past, present, and future of SLAM: towards the robust-perception age。几位有声望的学者在文中对SLAM的趋势作了很是好的总结。这里仅就本身感兴趣的点提一些我的感想。

 

新型传感器的出现会不停地为SLAM注入活力。若是咱们可以直接获取高质量的原始信息，SLAM的运算压力就能够减轻不少。举例来讲，近几年在SLAM中逐渐有使用低功耗、高帧率的event camera（又称 dynamic vision system, DVS）。若是这类传感器的成本能降下来，会给SLAM的技术格局带来许多变化。

 

自从深度学习在诸多领域所向披靡，很多研究者试图用深度学习中end-to-end的思想重构SLAM的流程。目前有些工做试图把SLAM的某些环节用深度学习代替。不过这些方法没有体现出压倒性优点，传统的几何方法依然是主流。在深度学习的热潮之下，SLAM涉及的各个环节应该会逐渐吸取深度学习的成果，精度和鲁棒性也会所以提高。也许未来SLAM的某些环节会总体被深度学习取代，造成一个新的框架。

 

SLAM本来只关注环境的几何信息，将来跟语义信息应该有更多的结合。借助于深度学习技术，当前的物体检测、语义分割的技术发展很快，能够从图像中能够得到丰富的语义信息。这些语义信息是能够辅助推断几何信息的，例如已知物体的尺寸就是一个重要的几何线索。