1.绪论

立体匹配是三维重建系统的关键步骤，而且做为一种非接触测量方法在工业以及科研领域具备重要的应用价值。为了完成匹配工做以及获取场景的稠密视差图，能够经过构建能量函数对应立体匹配的约束条件。复杂能量函数的全局最优解一般是NP难问题。相对于其余全局优化算法相好比模拟退火、梯度降低、动态规划等，图割算法不只精度高，收敛速度快，而且对于光照变化、弱纹理等区域的匹配效果也比其余算法好。web

2.图割算法

计算机视觉领域的大部分问题能够转换为标号问题，在立体匹配中视差的求解就是对图像的像素在视察范围内的离散标号问题。离散标号的最优解问题能够采用能量函数的最小化来求解，图割作为一种能够求解能量最小化问题的算法，在计算机视觉领域的应用很是普遍，如图像分割，图像恢复，立体匹配等。算法

Kolmogorov指出了如何将能量函数最小化问题与立体视差计算联系起来。一般使用图割算法进行立体匹配分为三个步骤，创建网络图，图割算法求解，生成视差图。图割算法因为其全局优化的特性可以获取效果良好的稠密视差图，可是对于处理高分辨率图像其运算量过大，为了下降运算量，通常思路都是采用分割后的图像缩小网络图的规模从而下降计算量。然而因为采用自动化非交互的彩色图像分割方法会把相同视差的区域分开或隐去了图像的部分细节信息，致使分割偏差，而消除偏差须要引入其余方法，如经过引入初试视差估计等方法，但这些方法增长了立体匹配算法的总体复杂度，并且没有有效利用分割信息。网络

在实际应用场景中为了获取感兴趣区域的精细视差图，针对于以往基于图像分割的立体匹配算法复杂、计算量大，没有充分利用分割结果的信息等缺点，本文提出了一种基于图像分割的立体匹配方法。该方法在图像分割时采用可交互的图割方法得到感兴趣目标，只针对感兴趣目标进行立体匹配，所以运算量大大减小，同时保留了原有图割算法具备的全局最优特性。框架

2.1 能量函数

使用图割算法进行立体匹配的过程当中，须要将图割中的网络图和能量函数对应起来。能量函数定义为：

该能量函数的四项分别为数据项，遮挡项，平滑项，惟一项。每一项都表征匹配时待处理的问题。ide

1)数据项：
数据项是为了让算法获取最佳的像素匹配，像素之间的色彩类似度越高，数据项的值越小。

其中函数D(a)用来表征匹配像素p，q之间的不类似性，a = (p,q)表示若是p，q像素匹配，数据项约束生效并能够按照下式：进行展开计算。
2)遮挡项
遮挡项的做用依然是为了将匹配像素个数最大化，对于存在遮挡没法匹配的像素按照下式乘以惩罚系数，由公式可知遮挡像素越少，遮挡项的值越小。
3)平滑项
平滑项主要衡量的内容是对于临近像素通常具备类似性特别是色彩类似这一特色，对于像素p而言其邻接像素p1和p2应该具备相同的视差分配。

平滑项通常采用分段函数。其中能够按照距离度量展开成分段函数。平滑项的值越低意味着临近像素的视差越相近。
4)惟一项
惟一项专一于立体匹配的惟一性约束，若待匹配点出现了不止一个匹配的状况则将惩罚值设置为无穷大。下式为其数学表达

2.2 网络流

（一）最大流
对于带有源点S和汇点T的有向图，称为网络图。在网络图中设f是定义在集合E上的非负函数。用fij表示f在弧e = (vi,vj)上的值，即为弧e上从vi到vj的流量称为网络流。网络流fij知足下列两个条件：svg

1.流量Fij不超过弧的容量Cij，函数
2.对于任意顶点vi，从vi留出的流量等于从vi流入的流量。即：

知足上述条件的全部网络流中流量最大的一个，称为最大流。性能

（二）最小割
网络图中一个S-T的割意味着将顶点集分为两部分，。割的代价为顶点集到全部割边的容量和，容量和最小的割称为最小割。设x 和y 是顶点集V中的两个顶点，(x,y)表示从x 到y 的一条边，其边的权值表示为c(x,y)。所以对于图G=(v,e)其一个割能够表示为：优化

Ford 和 Fulkerson 早在1962年证实了最大流和最小割的等价对应关系。经过求网络图的最大流来等价其最小割，进而能够获取此最小割对应能量函数的全局最小值。一个值得注意的工做为Boykov等人提出的基于图割理论有效的能量函数优化方法。在该方法中，做者提出标号函数的两种比较大的移动，扩张移动
(expansion moves)和交换移动(swap moves)，并证实了其扩张算法所得到的局部小和全局小相差一个已知的常数，而交换算法能够处理更通常的能量函数形式。本文使用扩张移动算法。lua

3.立体匹配网络图的构造

在使用图割算法进行立体匹配过程当中首先须要构建网络图，对于上文提到的网格图由节点和链接节点的有向边组成。源点S，汇点T为两个特殊节点。边分为两种，一种视差边，一种是平滑边。视差边对应于能量函数(公式(1))第1项，平滑边对应于能量函数第2项。
网格图的具体构建过程以下：

1.创建3维坐标系O-XYZ，把图像置于OXY平面，得的原点，X轴、Y轴与OXY平面的原点以及相应的轴重合。
2.在Z轴的正半轴上，从原点开始等距离的放置向量了l1,l2,…ln，在l1即原点O的地方放置q0，对于i=1,2,…n-1在li和li+1的中点放置点qi，最后在ln处放置qn。

至此，由OXY平面中像素点p=(px,py)以及Z的正半轴上点q0,q1,…qn构成了一个立方体网格。咱们能够知道，对i=1,2,…n-1，在Z轴上的每一个区间[qi,qi+1]刚好包含一个li+1。记(p,qi)=:(px,py,qi)为立方体网格上的节点，N(P)为像素点P的邻域。在网络图两端分别添加两个节点，即源点S，汇点T。并在S到I1中每一个属于左视图分割模版(图(1))中标记为前景的像素点之间添加一个边，在T到集合即立方体网络上与OXY平面相对的另外一个面上的节点，添加到汇点的边。由此，得到一个无向图G=< v,e >即：

则网络图中各边的容量为：

(1)源点，汇点链接边的容量为：汇点连接边的容量

(2)视差边的容量为：对任意，边的容量为：

在对视差边的处理上，视差边对应能量函数的数据项，既(1)式的第一项，在彩色图像中咱们对RGB三通道分开处理，再求加权平均，这样保留了颜色信息，结果更加精准，特别的，为了更进一步的准确，本文采用线性最近邻插值算法添加了亚像素信息。上式能够扩展为：

为彩色图像各个通道的权值，可取0.29，0.11，0.58，或者0.33。

(3)光滑边的容量：p, q为衣服图像中相邻两像素：

因而网络图构建完成，如图所示：

4.基于图割算法的图像分割

本文以图割算法为基本框架，采用基于图像分割的办法来实现对于感兴趣物体的立体匹配。因为彩色图像分割算法会影响到后期立体匹配的结果，因此选取合适的分割算法很是重要。

基于自动化非交互的分割方法可能会把相同视差的区域分开或者隐去了图像的部分细节信息，这就形成了偏差，而消除偏差须要引入其余方法，如经过引入局部匹配算法为分割模版提供初试视差估计等方法，但这些方法提高了立体匹配算法的总体复杂度，并且没有有效利用分割信息。因此本文采用基于图割算法的图像分割，在构创建体匹配网络图的同时进行图像分割。

在图像分割问题中咱们定义以下的能量函数形式：

传统基于图割算法的图像分割将上式映射为求解对应加权图的最大流/最小割问题，对于低分辨率的简单图像交互分割效果良好可是计算复杂度较高，内存开销大。为了提升分割速度而且适用于高分辨率图像，将图像分割融入立体匹配的流程中。本文采用文献[22]中的方法，经过添加辅助索引节点，并使用新的能量函数形式：

加速分割并减小运算量。公式(5)数据项中跟表示前景物体跟背景的非归一直方图，平滑项中
，为图像中全部⊿I的均值。该方法简化了图割计算时间，而且获得了很是精准的分割结果。以下所示(蓝色种子点用来标记背景，红色种子点用来标记前景)：


baby1左视图种子点设置	左视图分割结果

baby1右视图种子点设置	右视图分割结果

5.图割算法立体匹配

在立体匹配问题中，视差图的标号问题能够等价为全局能量函数的最小化求值问题，一般表示为Greig能量函数形式

在图1中，点表示源点，点表示汇点，视差边对应于能量函数式（1）中的第一项，平滑边对应于能量函数第二项。求解式（1）的能量函数的最小值能够等价为求解图的最小割问题，得到全局最优的视差图。

为了减小立体匹配的运算量，本文根据图像分割的结果获得感兴趣物体与分割模版，由分割模版构建网络图，使用图割算法进行立体匹配，有效利用了分割信息。综上所述本文算法能够归纳为两大步骤：1感兴趣目标的提取，2利用网络图进行立体匹配。算法流程图如图2所示：

Figure 2 Flow chart of the Algorithm

本文相对于传统方法，根据每一个像素构建网络图的算法有所不一样。对于图，在两端分别添加源点，汇点以后，只在到中每一个属于左视图分割模版中标记为目标的像素点之间添加边，在T到集合即立方体网络上与平面相对的另外一个面上的节点，添加对应到汇点的边。经过上述方法，能够大大减小计算量。

为了进一步优化匹配结果，本文在对网络图中视差边的处理上，针对彩色图像采用RGB三通道分开处理，用线性最近邻插值算法在图像的横坐标方向添加了亚像素信息。即将(2)式扩展为：

式中为彩色图像各个通道的权值。

按照上述的方法法构造网络图，并给各个边赋相应的权值，采用基于增广路的最大流算法求解，获得全局最小值，即为最优视差匹配。

参考文献

[16]Boykov Y, Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(9): 1124-1137.
[19]Roy S, Cox I J. A maximum-flow formulation of the n-camera stereo correspondence problem[A]// IEEE International Conference on Computer Vision[A], 1998 January 4-7, Bombay India:492-499.
[20]Hong L, Chen G. Segment-based stereo matching using graph cuts[A]// IEEE Conference on Computer Vision and Pattern Recognition[C],2004 June 27-July 2,Washington DC USA:74-81.
[23]Tang M, Gorelick L, Veksler O, et al. GrabCut in One Cut[A]// IEEE International Conference on Computer Vision[C], 2013 Dec 01 - 08, Sydney, Australia 1769-1776.
[24]王年, 范益政, 鲍文霞等. 基于图割的图像匹配算法[J]. 电子学报, 2006, 34(2):232-236.
[25]Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[C]// Stereo and Multi-Baseline Vision, 2001. (SMBV 2001). Proceedings. IEEE Workshop on. IEEE, 2001:131-140.
[28]Deng Y, Yang Q, Lin X, et al. A symmetric patch-based correspondence model for occlusion handling[C]// Proceedings / IEEE International Conference on Computer Vision. IEEE International Conference on Computer Vision. 2005:1316-1322 Vol. 2.
[29]Freeman W T. Comparison of graph cuts with belief propagation for stereo, using identical MRF parameters[C]// Computer Vision, 2003. Proceedings. Ninth IEEE International Conference on. IEEE, 2003:900.
[30]Kolmogorov V. Graph based algorithms for scene reconstruction from two or more views[D]. Cornell University, 2004.
[31]Kolmogorov V, Zabih R. Multi-camera scene reconstruction via graph cuts[M]//Computer Vision—ECCV 2002. Springer Berlin Heidelberg, 2002: 82-96.

论文资源合集

立体匹配综合论文集 : http://download.csdn.net/detail/wangyaninglm/9591251

基于图像分割的立体匹配论文合集 : http://download.csdn.net/detail/wangyaninglm/9591253

并行立体匹配论文合集 : http://download.csdn.net/detail/wangyaninglm/9591255

基于置信传播的立体匹配论文合集 : http://download.csdn.net/detail/wangyaninglm/9591256

基于稠密匹配的论文合集： http://download.csdn.net/detail/wangyaninglm/9591259

本文同步分享在博客“shiter”（CSDN）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。