Enhanced Figure-Ground Classification With Background Prior Propagation 论文阅读思考
Enhanced Figure-Ground Classification With Background Prior Propagation 论文阅读思考
对该论文的阅读理解和自己的一些质疑以及改进建议
原论文可在此处免费获取
http://xueshu.baidu.com/s?wd=paperuri:(08b92c6a2582db8d20d9002bf5bc13b9)&filter=sc_long_sign&sc_ks_para=q%3DEnhanced+figure-ground+classification+with+background+prior+propagation&tn=SE_baiduxueshu_c1gjeupa&ie=utf-8&sc_us=10326099323719706878
或者CSDN
https://download.csdn.net/download/weixin_36913190/10447797
论文概述
论文背景
前景分割有很多应用场景。产生一个二值化的前景分割图像，当今实现方式有基于图、统计、信息论以及变分原理。自动分割在一般情况下是非常困难的，因为自然图像中视觉线索的广泛多样性。当前最先进的交互式分割方法受到若干限制，其中包括一个限制性假设潜在的分布，无法处理复杂的场景拓扑结构，或者低效的相似性度量。
Enhanced Figure-Ground ClassificationWith Background Prior Propagation
该论文提出了一种自适应的图像前景分割算法，能够在一个通用的环境中提取前景物体。从交互式分配背景蒙版开始，定义一个初始背景，从不同的前景先验中采用改进的图像块合并技术生成多个软标签分区，这些分区被融合以产生前景概率图。然后通过阈值扫描将概率地图二值化以创建多个硬标签候选。一组分割假设是使用不同的评估分数形成的。在这组假设中，选取具有最大局部稳定性的假设作为新的背景先验用来传播，并且重复之前的分割过程，直到收敛。相似性投票用于选择最后的分割假设，并相应地将该分割假设融合产生最终分割结果。实验表明该方法在若干数据上比当前最新技术水平表现要好，在有不规则或这多连接的前景的挑战场景中表现尤为突出。
实现方式
Foregroundextraction is achieved by first generating a large amount of hypotheses throughan iterated background prior propagation routine, then fusing most promisinghypotheses to obtain the final
result.
整体流程
1. 初始化的时候要划定一个boundingbox（人工划定）,background 只包含背景像素，foreground包含背景像素和前景像素。
2. Get patches by Mean-Shift
每个像素点转化到Lab空间
mean-shift isnon-parametric clustering method which is based on finding the models of thekernel density estimate in the feature space.L(x,y),a(x,y),b(x,y)are thecorresponding pixel values in the Lab color space. It is better modeled by anormal distribution in comparison to RGB.
这个算法的结果是一系列分好的块，R={p1,p2,….pn}
该算法使用了两个kernel去分块，hs for the spatial features(x,y),hr for the color features(L,a,b)。这两个 kernel 的 bandwidth 的选择会决定分块的效果，和得到的 patches 的多少。
具体算法如下
设计了一个自动调整bandwidth 的方法：
①用初始值 hs=7 和 hr=6 先进行分块。
②将分块后与 foreground mask 交叠的 patches 放入 F0.
③用右边方法更新 hs,hr 后再分块。
④特殊情况，这样分块后 patches 的数目还是很多（这会导致后面效果不好）。可以重复 进性上述过程，或者直接把 hs,hr double 来得到更大的 patch。
3. Similarity Measure Between Patches
用KLD方法将每个patch表示为一个5D正态分布。
定义了两个patch之间的距离
定义patch和region，以及region和region的distance
The miniumdissimilarity measure between two regions implies that they are similar if theyhave patches in common.
4. Soft-Label Partitions
Differentforeground priors generate multiple soft-label partitions
用 L(pi)衡量 pi 属于 foreground 的likelihood
对背景 patches,
要定义一些初始化的属于foreground 的 patches.只要这个patch和 background 的 distance 大于一个阈值Dt就判断它属于 F0
目前为止，已经被标记的patches 有 B 和 F0 中的 patches，然后将剩下的未被标记的 patches 按 D(pi,B)降序排列。Θ表示已被标记的 patches 的集合。接下来要标记剩下的 patches。标记过程。计算未被标记的 pi 的 L。然后把计算完的 pi 加入Θ。
5. Hard-partition
Thresholding theprobability map forms a set of hard-label candidates
把上面的 soft-max换为下面这个式子
Dt的选择：把所有 D(pi,B)计算出来降序排列，然后阈值取这些计算出来的值中任意两个连续值之间的中间值。然后通过这些阈值，进行 soft-partition 得到 a large set of softlabel partitions。这个 set 的大小取决于 patches 的多少。
6. Foreground Probability Map
We next build a foregroundprobability map by fusing all
soft-labelpartitions.
Similarity betweensoft-label partitions Fi Fj:
7. Hypothesis Segmentation Set
From thesehard-label candidates we select promising segmentations
according tovarious evaluation scores.考虑三个score functions
a-cut,m-cut,MSER
8. Similarity Voting & Fusion
“相似性投票与融合”块的输入是多重假设集合。 获胜的假设集是使用相似性投票来选择的。最终的分割是通过融合得到的
假设集。
9. 实验结果
对算法的质疑和改进建议
1. 首先这个算法不是完全自动的，需要人手工去划定Boundingbox，Bounding box会很大程度上影响实验结果。
如图，有些图像的前景，人工手动画Boundingbox的时候不会特别精确，比如把一些前景划定到Bounding box边界之外，此时，结果就会产生很大影响。
小狗脑袋那一块被划分在了边界外面，导致结果中不包含此前景。
Bounding Box选取改进可以使用神经网络，通过神经网络大致判断出前景物体的边界，并返回四个坐标x1,y1,x2,y2给该算法，以此来实现自动化。
2. 前景先验不好以及Bounding Box大小也会对结果产生很大影响。如图
对该鸟的Bounding Box中混入了大量背景，结果中就会有些不该有的前景分割，采用小一点的Bounding Box 效果就稍微好了一点。
3. 背景投票中也可以稍微改进，比如给a-cut,m-cut,MSER分配一些系数来改进。
4. 背景前景过于相似，效果也会一般。