图像三维重建方法综述

转载请说明出处：

http://blog.csdn.net/zhubaohua_bupt/article/details/74172831

利用相机进行三维重建已经不是一个新鲜的话题，重建的三维环境用途很普遍，

好比检测识别目标，做为深度学习的输入，视觉SLAM。

目前，比较流行的是单、双目的重建。根据重建的稀疏程度不一样，能够分为如下如下几类：

稀疏重建：

一般是重建一些图像特征点的深度，这个在基于特征的视觉SLAM里比较常见，获得的特征点的深度能够用来计算相机位姿。稀疏重建在实际应用，好比检测，避障，不能知足需求。

半稠密重建：

一般是重建图像纹理或梯度比较明显的区域，这些区域特征比较鲜明。半稠密重建在直接法视觉SLAM里比较常见。重建的三维点云相对稠密，能够知足部分应用需求。

稠密重建：

稠密重建是对整个图像或者图像中的绝大部分像素进行重建。与稀疏、半稠密相比，稠密重建对场景的三维信息理解更全面，更能符合应用需求。可是，因为要重建的点云数量太多，相对耗时。

 

1 双目重建：

 

双目重建一般又称之为，立体匹配、双目匹配、双目立体视觉、静态匹配等。

根据所用的相机差别，好比针孔相机、鱼眼相机，实现略有差异。根据重建时匹配方式的不一样，又能够分为全局、本全局、局部匹配。OpenCV的GM,SGBM,BM就分别实现了上述算法。

想要了解这方面知识，以上述关键字关键字（立体匹配、双目匹配、双目立体视觉）或（Stereo Matching）搜论文。好比[1][2][3]。其过程可描述以下：

利用左右相机获得的两幅矫正图像，经过一幅图在另外一幅图上找匹配，而后根据三角测量原理恢复出环境三维信息。在鱼眼相机的匹配中，也有不矫正图像，直接匹配的作法，这样作须要计算图像极线。   

因为整个匹配的过程只需一个时刻的左右图像，因此也有人称为静态立体视觉。

2 单目重建

传统的视觉方法（不包括深度学习）单目重建，利用单幅图像不能完成重建，须要时间域上一系列图像。

因此有人也称之为动态立体视觉。根据重建的实时性不一样，能够分为离线重建和在线重建。

2.1离线重建：

好比 SFM技术，此技术根据在一段时间内得到的连续图像来重建一个三维环境。中文文献搜(运动恢复结构)，英文搜(Structurefrom motion)。

2.2在线重建：在线重建能够分为渐进式重建和直接式重建。在线重建或多或少都和VO或者(SLAM)有联系，由于重建的时候须要相机的位姿。

2.2.1渐进式重建

渐进式重建利用下一时刻的图像不断融合以前的三维信息，相似于卡尔曼滤波思想，并且三维重建实际上也是深度重建，所以，渐进式重建也称之为深度滤波。

好比：[4]SVO和[5]REMODE,这两个论文是一个做者，SVO和REMODE有深度滤波详细的过程，而且有开源实现代码。

SVO: https://github.com/uzh-rpg/rpg_svo    (深度滤波在depth_filter.cpp里面)

REMODE:https://github.com/uzh-rpg/rpg_open_remode

2.2.2直接式重建  

直接式重建，利用若干个时刻（通常几帧至几十帧）的图像，一次性完成对同一个场景的三维重建。

直接式重建也有人称之为深度融合，有点相似于SFM,与SFM不一样的是，参与计算的图像少，实时性较高。

文章[7]是这方面的方法，但代码没有开源，若是比较了解深度滤波原理，这个也容易实现。

[1]    Semi-Global-Matching

[2]    Stereo Processing by Semi-Global Matchingand Mutual Information

[3]    基于鱼眼相机的立体匹配

[4]   C.Forster, M. Pizzoli, and D. Scaramuzza, “SVO: Fast Semi-Direct Monocular VisualOdometry,” in Proc. IEEE Intl. Conf. on Robotics and Automation, 2014.

[5]   MatiaPizzoli, Christian Forster, and Davide Scaramuzza. REMODE: Probabilistic,monocular dense reconstruction in real time. In International Conference onRobotics and Automation (ICRA), pages 2609–2616, Hong Kong,China, June 2014.

[6]   V. Usenko,J. Engel, J. Stuckler, and D. Cremers. Reconstructing Street-Scenes inReal-Time From a Driving Car

[7]    Ra´ulMur-Artal and Juan D. Tard´os Probabilistic Semi-Dense Mapping from HighlyAccurate Feature-Based Monocular SLAM,2015