CCS算法（Contour-Constrained Superpixels for Image and Video Processing）

标题：Contour-Constrained Superpixels for Image and Video Processing

作者： Se-Ho Lee，  Won-Dong Jang，  Chang-Su Kim

会议：CVPR

    初始将图片分成K个superpixels，如(a)Initial superpixels。初始时每个superpixel就是一个regoin，将每个region的分成四块小region。迭代更新每个小region所属的superpixles，迭代直到所有regoin所属superpixel不变化或是到达迭代上限，一般上限20。

  表示第i个region所属的superpixel。

    判断Ri所属superpixel公式：

     j 为region i 周边相邻的region。

   ED 为特征距离，EL 为边界长度，EI 为  inter-region color cost （最大颜色差异）， 为轮廓限制 。

    

    1. 特征距离

    

      c(Ri)为regoin Ri的CIELAB均值，p(Ri)为regoin Ri的空间坐标均值。

            作用：可以使superpixel内像素颜色、空间都较接近。

    2. 边界长度

    

    表示当regoin Ri所属k superpixel时，边界上region的数量。

            作用：可以使superpixel像素在空间上更接近。

    3.  Inter-Region Color Cost

    计算superpixel内部颜色差异：

            

               

   作用：具有复杂纹理的superpixel可以包含较大的颜色差异，平坦的superpixel只能较小的颜色差异。

    4. 轮廓限制

    通过与matching pattern进行比较，估计两点被一条轮廓分隔的概率。

            matching pattern：使用BSDS500训练集中200个训练图片，以轮廓像素为中心点提取7*7的像素块。对这些像素块选取最常出现的1000个像素块，这些像素块通常覆盖90.5%的情况。

            通过holistically-nested edge detection（HED）方法提取输入图片的轮廓。之后通过non-maxium suppression(nns)以及阈值处理获得二进制的轮廓图片。以M代表轮廓像素，提取7*7的像素块Pm，m∈M。将Pm与matching pattern中的像素块进行比对，获得最Hamming 距离最近的像素块Qm。

              计算像素u,v分隔概率：

             其中  表示u,v在同一个Pm中，即分母表示u,v出现在同一个patch的patch数量。

             表示u,v在该Pm匹配的matching pattern中被一条轮廓分隔，即分子表示u,v出现在同一个patch且被分隔的patch数量。

      计算regoin Ri,Rj分隔概率：

                  

      β=3

            作用：使分隔的regoin属于不同的superpixel。

    5. 分割regoin

            判断regoin是否要分割成小regoin：

      c为颜色值， 为分割概率。

             若计算得出值大于阈值，试验中阈值100，则进行分割。

效果：

总结：CCS算法从像素块的角度来更新每个像素所属的superpixel，其中涉及的边界长度等参数可以有效提高superpixel效果，也可以借鉴到其他superpixel算法设计中。感觉CCS算法框架明显要复杂，而且轮廓限制内容和机器学习分类器有点像，计划更深入了解机器学习。