论文笔记：Fast Online Object Tracking and Segmentation: A Unifying Approach

Fast Online Object Tracking and Segmentation: A Unifying Approach

CVPR-2019
2019-03-11 23:45:12

Paper：https://arxiv.org/pdf/1812.05050 

Project Page: http://www.robots.ox.ac.uk/~qwang/SiamMask/ 

Code（Test Only）：https://github.com/foolwood/SiamMask 

Blog：https://zhuanlan.zhihu.com/p/58154634 

Demo Video: https://www.youtube.com/watch?v=I_iOVrcpEBw&feature=youtu.be 

 

这篇博文主要从 Tracking 的角度来看待这个跟踪算法，具体分割算法请参考原文。本文提出一种多任务框架，来实现同时跟踪与分割，初步探索了目标的表达对跟踪结果的影响。具体效果以下图所示：

 

究其根本，就是在想怎么用更好的 Bounding Box 框柱物体，以适应物体的形变等致使的跟踪不许确的问题。当上一帧的跟踪结果靠谱时，那么当前帧就能够进行很好的采样，跟踪。做者在 Siamese Net based tracker 的基础上，进一步引入 Mask branch，获得分割结果。而后在此基础上，进行跟踪。这一步，其实至关于必定程度上解决了目标尺度变化的问题。其跟踪框架的大体流程以下所示：

 其中，分割模块的具体网络结构，以下所示：

 

其实，貌似就是这样简单。可是因为 Siamese tracker 效率很高，加上分割的分支以后，速度也没有变慢不少。可是，在 VOT 的跟踪数据集上，取得了很好的跟踪效果。

 

总结：

关于该文章，算是在 Siamese Tracker 基础上的改进，固然不限于文中所涉及到的两个跟踪算法，SiamFC 和 Siamese RPN。好比 MDNet 的几个基于分类的跟踪算法，也存在相似的目标表达方面的问题，即：Scale variation 。因为本文是基于 Siamese tracker 来作的，原始 Siamese tracker 的一些毛病，可能依然存在，如：heavy occlusion，fast motion 等问题。本文的做者也对跟踪将来的发展作了一些展望，详情可参考其知乎文章：https://zhuanlan.zhihu.com/p/58154634 。

 

匆匆扫了扫论文，还没来得及跑跑代码。明天跑一下 demo video，再来总结吧。

 

==