Multihypothesis Trajectory Analysis for Robust Visual Tracking

Multihypothesis Trajectory Analysis for Robust Visual Tracking

2019-10-27 14:33:49

 

Paper: https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Lee_Multihypothesis_Trajectory_Analysis_2015_CVPR_paper.pdf 

Code: http://mcl.korea.ac.kr/research/object_tracking/dylee_cvpr2015/dylee_cvpr_2015_source_code.zip 

Project page: http://mcl.korea.ac.kr/research/object_tracking/dylee_cvpr2015/ 

 

1. Background and Motivation: 

本文提出使用多个轨迹假设的方法来进行跟踪，貌似也是首次将 trajectory 引入到跟踪中。该方法能够有效地考虑先后帧之间的关联。 用多个 tracker 去跑，而后设计度量公式，去选择轨迹片断。

 

2. STRUCK tracker:

本节对 STRUCK 跟踪算法进行了回归。

 

3. MTA Tracker：

做者这里经过经过对比前向跟踪结果与后向跟踪结果的差别性，来判断当前前向跟踪器的结果是否可靠。此外，做者采用多个前向跟踪器来提供多个轨迹假设。经过前向和后向分析，做者选择最好的 前向跟踪轨迹来改善跟踪的精确度和鲁棒性。

 

3.1 Multiple Component Trackers: 

做者为同一个 tracker，输入不一样的 feature，从而达到获得不一样跟踪轨迹的目的。三条轨迹分别使用：Haar-like feature，Color histograms，Illumination invariant feature，具体细节以下所示：

 

为了衡量特征向量 u 和 v 之间的类似性，咱们用交叉核（intersection kernel）来组合他们，获得：

 

  

3.2 Trajectory Analysis --- Robustness Score：

三个成分的跟踪器产生了三个轨迹假设。做者衡量每个跟踪器的鲁棒性，而后选择当前时刻最优的做为最终的轨迹。

 

跟踪器鲁棒性得分的计算方法以下：

首先，从前些帧到当前帧，先用 tracker 进行跟踪，那么能够获得前向轨迹：

 

而后，在 frame t2 时刻的位置，咱们初始化再初始化一个 tracker 进行后向的跟踪。后向轨迹以下：

 

注意到，在间隔 [t1, t2] 的最后一帧 t2，咱们有 做者用后向轨迹来检查前向轨迹的可靠性，可是采用三种不一样的度量方式：geometric similarity, cyclic weight, and appearance similarity。如图 2 （a）所示，几何类似性得分以下：

利用的是前向位置 和 后向位置的距离，其中分母为 500。理想的状况下，后向估计应该和前向是一致的，此时的几何类似性为 1。

 

接下来，咱们衡量前向和后向的循环权重。因为跟踪失败状况的存在，后向传播的最终位置可能和前向的起始位置不相同。在这种状况下，两个轨迹并不能构成一个闭环。如图 2（b）所示，跟踪器 1 和 2 构成了闭环，可是 3 并无。此外，虽然 1 和 2 都构成了闭环，可是二者的 IoU 差距仍是很大的，由于 2 出现了很大的不重合。可是这多是由于 heavy occlusion，反而 跟踪器 2 多是成功跟踪上的。与此对比，跟踪器 3 可能就是失败的 tracker 了。

 

实际上，做者计算两个对应 BBox 的重合度，获得：

其中，德尔塔 里面有一个 x 的表示的是该 BBox 的面积，而有两个 BBox 的是两个 BBox 的重合面积。当该比值小于 0.3 的时候，表示前向和后向轨迹不一致。做者统计在这个短时间内不匹配的次数，以检查两个轨迹是否构成一个闭环。而后，定义两个轨迹的循环权重以下：

注意到，10^6 是一个任意的大数（big number）。

 

此外，做者也定义了 appearance similarity 来衡量反向位置的可靠性。假设咱们已经用多个 tracker 跑完了某一段，获得了前向轨迹。咱们保持四个图像块，沿着前向轨迹选择的 bbox。第一帧的 bbox 是默认选择的，其余三个bbox更新用于产生最高的判别函数得分。假设 P(x) 表示 x 位置的 image patch，而后，其后向轨迹对应该图像块的 appearance similarity 能够定义为：

其中，分母中 delta 2 的平方 为 900，w 和 h 分别是 BBox 的宽和高。K 是高斯权重 mask，黑点表示 pixel-by-pixel weight multiplication。若是该指标较小，则代表：反向轨迹的 bbox 相对于之前的，快速改变了其外观，可能代表出现了 tracking error。

 

最终，咱们组合几何类似性，循环权重，外观类似性来量化跟踪器的鲁棒性，获得：

该度量值越大，代表前向轨迹越可靠。

 

3.3 Tracking by Optimal Trajectory Selection. 

 

 

做者为了下降计算复杂度，每间隔 $\tao$ 帧运行一次轨迹分析。而后开始计算鲁棒性得分，获得当前 frame clip 的轨迹，即：公式（11）。

 

3.4 Failure Handling：

做者也设置了一个阈值，对多个轨迹进行分析，进行 tracking failure 的判断。

 

4. Experiments：

 

 

 

 

 

 

 

 

 

==