Cluster-based Co-saliency Detection笔记

时间 2019-11-11

标签 cluster based saliency detection 笔记繁體版

原文原文链接

1. 两个定义函数

协同显著性：在一组类似的图像中发现unique object (D. Jacobs 2010)// 从多幅图像中发现共有的显著性
协同分割：将两张或是多张图像中类似的对象分割感出来

2. co-saliency与co-segmentation之间的区别学习

在非监督的co-segmentation方法中，图像中的非显著但类似的背景会给corresponding过程带来反作用；
对于有歧义的图像，须要用户的输入来指导分割过程；
co-segmentation方法的计算量每每很大，尤为是面对大量的图像的时候。然而不少需求，例如图像缩放，目标定位和识别，对于精度要求每每不是很苛刻，只要可以快速定位出多张图像中的共有对象便可。

3. 本文所作的工做测试

基于聚类的co-saliency检测
用的特征是contrast，spatial，correspondence；
优势是基本上是自底向上的，没有繁重的学习过程，并且简单、通用、有效；
在协同分割，鲁棒的图像测距，弱监督学习以及视频前景提取具备普遍的应用前景。

4. 本文的动机spa

单张图像中的显著性检测方法忽视了多张图像中的关联线索，所以，本文将重复属性作为附加约束来发现多张图像中的共有显著对象。因此本文既考虑了单张图像内的显著性(intra-saliency)，也考虑了多张图像间表现出的显著性(inter-saliency)。视频

5. 方法概述对象

符号说明：io

张图像记为 $\{I^j\}_{j=1}^M$ ；ast

图像中的像素集合记为 $\{p_i^j\}_{i=1}^{N_j}$ ，其中表示第j个image lattice（不是图像中的像素的个数？）；扩展

对这M张图像进行聚类，获得K个cluster，记为 $\{C^k\}_{k=1}^K$ ，聚类中心记为 $\{\mu_k\}_{k=1}^K$ ， $\mu_k$ 是D维向量；object

对于图像中每一个像素以及对应的cluster index ，定义一个映射函数 $b:\mathcal{R}^2\rightarrow {1,...,K}$ 。

$\{z_i^j\}_{i=1}^{N_j}$ 是图像中像素的归一化后的位置。

所用的显著性测度:

特征对比度测度Contrast Cue

    类的特征对比度测度定义为类与其余类的特征对比度，形式化描述以下：

                  $w^c(k)=\sum_{i=1,i\neq k}^K\left (\frac{n^i}{N}||\mu^k-\mu^i||_2\right )$

其中为全部的图像的像素和，为聚类的像素个数。因此，类中像素个数越多，对特征对比度的贡献也就更大。

特征对比度与直方图对比度之间的不一样：

    这里衡量的是cluster的对比度，而直方图对比度衡量的是直方图的对比度；

    对比度测度只是三个显著性测度中的一个。

特征对比度测度的优势：

    cluster越是独特，cluster越是显著。

中心偏移测度Spatial Cue

偏移测度的依据是：人类视觉系统中，图像中心区域每每可以在比其余区域更加吸引人的注意。当对象与图像中心之间的距离越大时，显著性也就愈来愈减少。在单张图像中，称为中央偏向准则(center bias rule)。本文做者对这个概念进行了扩展，将其扩展到基于聚类的方法上。聚类的重心偏移测度定义以下：

$w^s(k)=\frac{1}{n^k}\sum_{j=1}^{M} \sum_{i=1}^{N_j} \left[ \mathcal{N}\left ( ||z_i^j-\sigma^j||^2 | 0, \sigma^2\right )\cdot \delta[b(p_i^j)-C^k]\right ]$

与单张图像中的中心偏移测度不同的是，这里定义的是多张图像上的全局中央偏向性。

图间分布测度Corresponding Cue

图间分布测度主要用于衡量多张图像上的cluster的分布的。重复率描述了一个对象在多张图像上重复出现的频率，是反映协同显著性的一个重要的全局属性。首先采用一个具备M个bin的直方图 $\hat{\mathbf{q}}^k=\{\hat{q}_j^k\}_{j=1}^M$ 来描述聚类在M张图像中的分布:

$\hat{q}_j^k=\frac{1}{n^k}\sum_{i=1}^{N_j} \delta[b(p_i^j)-C^k],j=1,...,M$

而后就能够定义图间分布测度:

$w^d(k)=\frac{1}{\mbox{var}(\hat{\mathbf{q}}^k)+1}$

在各个图像中分布越是均匀的cluster，对应的图间分布测度就越是大。

协同显著性图生成：

对单张图像而言，能够得到contrast cue map，spatial cue map，对于多张图像而言，既能够获得contrast cue, spatial cue，又能够获得corrsponding cue，所以总共能够获得5个cues，对这5个cues进行融合，就能够获得cluster级的协同显著性几率图:

      $p(C^k)=\prod_i w_i(k)$

其中。

co-saliency计算出来，至关于获得了离散的assignment，接下来对co-saliency值进行平滑，获得每个像素的显著性几率。首先获得像素属于聚类的似然几率：

     $p(x|C^k)=\mathcal{N}(||v_x,\mu^k||_2 | 0,\sigma^2)$

其中是像素x的特征向量，方差 $\sigma$ 是聚类的方差。

最后计算每个像素显著的几率：

    $p(x)=\sum_{k=1}^K p(x,C^k)=\sum_{k=1}^K p(x|C^k)p(C^k)$

6.实验

参数选择：

所用特征：CIE Lab颜色特征以及Gabor特征，共4维。Gabor特征的获取过程是：8个方向的Gabor特征，bandwidth为1，而后计算这8个滤波后的图像的幅值，即Gabor_img = sum(abs(Gabor_img).^2, 3).^0.5; Gabor_img是（img_height*img_width）*8的矩阵。

单张图像的聚类：用K-means进行聚类，聚类的个数是

多张图像的聚类： $K-2=min\{3M,20\}$ ，M是图像的总个数

测试数据集以及实验结果：

单张图像的测试数据集：MSRA1000，PR curve优于RC（Cheng Mingming cvpr 2011）

协同显著性计算的测试数据集：

Co-saliency Pairs dataset(H. Li, K. Ngan. TIP 2011), PR curve优于CO(K. Chang, CVPR 2011)， MS(H. Li, TIP 2011), PC(H. Chen, ICIP 2010)

CMU iCoseg dataset(D. Batra et al. IJCV 2011), PR curve优于CO.

7.应用

协同分割:

用bilayer segmentation方法在MSRC数据集上进行了测试，方法在segmentation accuracy优于（A. Joulin, CVPR 2010），略逊于(K. Chang, CVPR 2011)，可是本文方法的时间开销小，处理4张128*128的图像，(K. Chang, CVPR 2011)所用时间是40s，本文方法只须要5秒。

具备鲁棒性的图像测距

弱监督学习

视频前景提取