现有的Saliency计算模型的几个常见问题及回答 (转)

 

 

Ali Borji等人在ECCV上发表了一篇关于显著性模型的综合论文。

原文来自：Ali Borji, Dicky N. Sihite, and Laurent Itti,
" Salient Object Detection: A Benchmark",

总结了自2011年以及以前发表的，能容易获得的（代码或者Saliency Map），具备很好的准确率的，或者具备很高引用率的模型。

全文共用5个数据库（这个五个数据都是包含物体的数据库，该文的重点也是考擦包含物体的数据库上比较各个模型）。

Human Inter-observer(IO) model:我的理解就是在N个观测者中，依次抽出一我的的标注结果做为测试，将其余N-1我的的标注结果的集合做为基准，计算这我的与其余人的标注的不一致性。

这篇文章大概回答了如下的一些问题：

问题1：如今的模型是否已经达到最好，还有没有提高的空间？

答：因为IO模型是全部模型的上界，由于人们一般在标注显著物体时能达到高度一致。而现有的模型与IO模型在全部数据库上（该文提出的5个数据库，如下同）还有很大的差距，因此还有提高空间。

问题2：现有模型的准确性有没有理论下界？

答：有。将图像中的全部像素依照均匀分布输入显著值，这样获得的显著图计算出来的AUC是0.5，是理论下界。全部的模型的AUC值都大于等于这个值。

问题3：目前模型主要分为哪几类？

答：目前的方法主要分为两大类。1）基于注视点预测的模型；2）基于提取和分割显著物体的模型。平均来讲，基于注视点的模型的性能要比基于物体的显著性的模型差一些。注视点预测的模型中最好的模型要比基于物体的显著性的模型中最差的要好点。

问题4：为何两类模型在便于分割的数据上的性能不一样？

答：这个缘由在于真阳性和假阳性的个数。分割算法试图产生白色的显著区域来包含更多的真阳性。令一方面，注视点预测模型具备很大的选择性，不多产生假阳性点（由于图中的注视点比较少）。在分开的独立的实验中，在注视点数据库上注视点预测模型的性能要优于基于分割的模型。

问题5：将现有的模型线性组合起来的结果是否要优于单独的模型？

答：在每一个数据库上组合最好的模型获得的结果，有可能要优于其余全部的模型。而组合两个作好的模型获得的结果，与组合最优的三个模型的结果差很少（少一点）。

问题6：图像中的物体的大小对模型的准确性的是否有影响？

答：在很小的物体上取得较高的准确性确实具备挑战性。若是一个图的80%是物体，那么一个模型将整个图做为显著图，将能获得80%的准确率。大多数模型在大尺度物体图中的准确性都很高。

问题7：人工标注的一致性是否影响模型的准确性？

答：人工标注越一致，模型在其上的准确率越高。

问题8：每一个模型是否对同一数据库中全部的图都有类似的准确性？

答：每一个模型都有本身的最容易处理的图和最难处理的图。总的来说：在中心有很生动的物体，而周围是与之大相径庭的背景的图，是全部模型最容易处理的图。而最难处理的是那些有复杂纹理背景，物体又包含几个不一样部分的图，或者包含能引发top-down注意的物体（好比文本，人脸，人体，社交行为，注意力导向以及动物）。

问题9：对显著图进行高斯模糊是否对准确性产生影响？

答：高斯模型对准确性能产生轻微的影响，可是他们的定性趋势以及模型的排序保持一致。

问题10：为何高斯模型能改变注视点预测模型，但不改变显著物体检测模型的准确性？

答：可能的缘由有两个：1）在注视点上存在着不一致性，致使模型的结果一般真正落在注意点上。所以，高斯模型的改良这种结果；2）在显著物体检测里，评价指标是个图像区域里进行计算，而在注视点预测模型里，一般是在眼睛注视点的采样图上进行计算。对于前者，高斯模糊只在边缘处其左右；而对于后者，则一样能改良模型的结果。

问题11：加入中心偏置是否能提供模型的准确性？

答：全部的数据库都具备中心偏置属性。加入中心偏置能提升较差性能的模型，但对于性能较好的模型的做用则相反。

问题12：现有模型的结果之间是否存在着类似性？

答：利用线性相关系数，可能得出，现有的模型以前确实存在类似性。

问题13：模型之间的一致性与人工标注一致性之间存在什么关系？

答：他们之间的关系能够总结为：1）对于那些同时是模型一致性和人工标注一致性的图，一般是包含很清晰的物体，其背景的颜色与物体的颜色大相径庭；2）对于那些同时是人工标注不一致的和模型结果不一致的图，大可能是那些不太容易定义显著物体的图。这些图都有复杂纹理背景，物体又包含几个不一样部分。3）那些模型不一致的图一般是背景纹理较多较复杂的，而显著物体与背景的特征形似。4）最后对于那些模型一致而人工不一致的图，里面的物体一般包含多个部分，而且每一个部分的特征都与背景不一样。整体而言，对于人工不一致的图比较少。