三种主流深度相机介绍

随着机器视觉，自动驾驶等颠覆性的技术逐步发展，采用 3D 相机进行物体识别，行为识别，场景 建模的相关应用愈来愈多，能够说深度相机就是终端和机器人的眼睛，那么什么是深度相机呢，跟以前的普通相机（2D）想比较，又有哪些差异？ 深度相机又称之为3D相机，顾名思义，就是经过该相机能检测出拍摄空间的景深距离，这也是与普通摄像头最大的区别。

普通的彩色相机拍摄到的图片能看到相机视角内的全部物体并记录下来，可是其所记录的数据不包含这些物体距离相机的距离。仅仅能经过图像的语义分析来判断哪些物体离咱们比较远，哪些比较近，可是并无确切的数据。而 深度相机则偏偏解决了该问题，经过深度相机获取到的数据，咱们能准确知道图像中每一个点离摄像头距离，这样加上该点在 2D 图像中的(x,y)坐标，就能获取图像中每 个点的三维空间坐标。经过三维坐标就能还原真实场景，实现场景建模等应用。

深度相机的方法分类以下表所示：

 

 

目前市面上常有的深度相机方案有如下三种。

(1)结构光(Structured-light)，表明公司有奥比中光，苹果(Prime Sense)，微软 Kinect-1，英特尔 RealSense, Mantis Vision 等。 

(2)双目视觉(Stereo)，表明公司 Leap Motion， ZED， 大疆;

(3)光飞行时间法(TOF)，表明公司微软 Kinect-2，PMD，SoftKinect， 联想 Phab。

固然还有光场相机，有兴趣能够关注微信公众号文章

 

如下具体介绍几种这三种深度相机的原理：

 

结构光深度相机

结构光，英文叫作 Structured light，其原理是基本原理是，经过近红外激光器，将具备必定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具有必定结构的光线，会因被摄物体的不一样深度区域，而采集不一样的图像相位信息，而后经过运算单元将这种结构的变化换算成深度信息，以此来得到三维结构。简单来讲就是，经过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深刻的应用。一般采用特定波长的不可见的红外激光做为光源，它发射出来的光通过 必定的编码投影在物体上，经过必定算法来计算返回的编码图案的畸变来获得物体的位置和深度信息。根据编码图案不一样通常有：

条纹结构光，表明传感器 enshape ，

编码结构光，表明传感器 Mantis Vision, Realsense(F200), 

散斑结构光 ，表明传感器 apple(primesense), 奥比中光。

下图是一个典型的结构光相机的示意图:

 

 

结构光（散斑）的优势主要有：

 1）方案成熟，相机基线能够作的比较小，方便小型化。

 2）资源消耗较低，单帧 IR 图就可计算出深度图，功耗低。

 3）主动光源，夜晚也可以使用。

 4）在必定范围内精度高，分辨率高，分辨率可达 1280x1024,帧率可达 60FPS。

 

 散斑结构光的缺点与结构光相似： 

1）容易受环境光干扰，室外体验差。 

2）随检测距离增长，精度会变差。

 

目前结构光技术有以下几种变种：一种是单目IR+投影红外点阵，另一种是双目IR+投影红外点阵，这样至关于结构光+双目立体融合了，深度测量效果会比前者好一些，好比Intel RealSense R200采用的就是双目IR+投影红外点阵，不足之处就是体积较大。而单目IR+投影红外点阵的方案虽然体积较小，可是效果会差一点。

 

TOF

顾名思义是测量光飞行时间来取得距离，具体而言就是经过给目标连续发射激光脉冲，而后用传感器 接收从反射光线，经过探测光脉冲的飞行往返时间来获得确切的目标物距离。由于光速激光，经过直接测 光飞行时间实际不可行，通常经过检测经过必定手段调制后的光波的相位偏移来实现。 TOF 法根据调制方法的不一样，通常能够分为两种：脉冲调制（Pulsed Modulation）和连续波调制 （Continuous Wave Modulation）。脉冲调制须要很是高精度时钟进行测量，且须要发出高频高强度激光，目 前大多采用检测相位偏移办法来实现 TOF 功能。简单来讲就是，发出一道通过处理的光，碰到物体之后会反射回来，捕捉来回的时间，由于已知光速和调制光的波长，因此能快速准确计算出到物体的距离。

其原理示意图：

 

 

由于 TOF 并不是基于特征匹配，这样在测试距离变远时，精度也不会降低很快，目前无人驾驶以及一些高 端的消费类 Lidar 基本都是采用该方法来实现。 TOF 的优势主要有：

 1）检测距离远。在激光能量够的状况下可达几十米。 

2）受环境光干扰比较小。 

 

可是 TOF 也有一些显而易见的问题： 

1）对设备要求高，特别是时间测量模块。 

2）资源消耗大。 该方案在检测相位偏移时须要屡次采样积分，运算量大。 

3）边缘精度低。 

4）限于资源消耗和滤波，帧率和分辨率都没办法作到较高。

 

目前消费类最大也就 VGA。 从上面三种主流的 3D 相机成像方案来看，各有优劣，可是从实际应用场景来看，在非无人驾驶领域，结构 光，特别是散斑结构光的用途是最普遍。由于从精度，分辨率，还有应用场景的范围来看双目和 TOF 都没 有办法作到最大的平衡。并且对于结构光容易受环境光干扰，特别是太阳光影响问题，鉴于此类相机都有 红外激光发射模块，很是容易改造为主动双目来弥补该问题。

 

 

 

结构光与TOF的对比

对比来看，结构光技术功耗更小，技术更成熟，更适合静态场景。而TOF方案在远距离下噪声较低，同时拥有更高的FPS，所以更适合动态场景。

目前，结构光技术主要应用于解锁以及安全支付等方面，其应用距离受限。而TOF技术主要用于智能机后置摄影，并在AR、VR等领域（包括3D拍照、体感游戏等）有必定的做用。

 

3D结构光和TOF二者其实各有优劣势。结构光最大的优点是发展的较为成熟，成本比较低，劣势是只适合中短距离使用。ToF优点是抗干扰性较好，视角较宽，缺陷是功耗高，造价贵，精度及深度图分辨率较低。两项技术各有侧重点和适配使用场景。

 

双目立体视觉

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，他是基于视差原理并利用成像设备 从不一样的位置获取被测物体的两幅图像，经过计算图像对应点间的位置误差，来获取物体三维几何信息的 方法。

 

固然完整的双目深度计算很是复杂，主要涉及到左右相机的特征匹配，计算会很是消耗资源。 双目相机的主要优势有：

 1）硬件要求低，成本也低。普通 CMOS 相机便可。

 2）室内外都适用。只要光线合适，不要太昏暗。

 

 可是双目的缺点也是很是明显：

 1）对环境光照很是敏感。光线变化致使图像误差大，进而会致使匹配失败或精度低

 2）不适用单调缺少纹理的场景。双目视觉根据视觉特征进行图像匹配，没有特征会致使匹配失败。

 3）计算复杂度高。该方法是纯视觉的方法，对算法要求高，计算量较大。 

 4）基线限制了测量范围。测量范围和基线（两个摄像头间距）成正比，致使没法小型化。

 

三种深度相机的对比

 

 

以上就是所有内容，可能存在一些错误欢迎指示，并能够发邮件交流，您能够能够关注微信公众号。加入咱们翻译小组或者加入经营微信公众号群，也加入技术交流群与跟多的小伙伴一块儿交流。