读论文系列：Object Detection ECCV2016 SSD

转载请注明做者：梦里茶

Single Shot MultiBox Detector

Introduction

一句话归纳：SSD就是关于类别的多尺度RPN网络

基本思路：

• 基础网络后接多层feature map
• 多层feature map分别对应不一样尺度的固定anchor
• 回归全部anchor对应的class和bounding box

Model

• 输入：300x300
• 通过VGG-16（只到conv4_3这一层）
• 通过几层卷积，获得多层尺寸逐渐减少的feature map
• 每层feature map分别作3x3卷积，每一个feature map cell(又称slide window)对应k个类别和4个bounding box offset，同时对应原图中6（或4）个anchor(又称default box)
  • 38x38, 最后3x3, 1x1三个feature map的每一个feature map cell只对应4个anchor，分别为宽高比: 1:1两种，1:2, 2:1两种，所以总共有 38 * 38 * 4 + 19 * 19 * 6 + 10 * 10 * 6 + 5 * 5 * 6 + 3 * 3 * 4 + 1 * 1 * 4 = 8732 个anchor
  • 其余feature map的feature map cell对应6个anchor，分别为宽高比: 1:1两种，1:2, 2:1两种，1:3， 3:1两种
  • 每层的feature map cell对应的anchor计算方法以下
  • 位置：假设当前feature map cell是位于第i行，第j列，则anchor的中心为 ((i+0.5)/|f_k|,(j+0.5)/|f_k|), f_k是第k层feature map的size（好比38）
  • 缩放因子:
    
    其中s_min为0.2，s_max为0.9，m为添加的feature map的层数，缩放因子就是为不一样feature map选择不一样的大小的anchor，要求小的feature map对应的anchor尽可能大，由于越小的feature map，其feature map cell的感觉野就越大

  • anchor宽高：
    

    其中，a_r∈{1,2,3,1/2,1/3}，能够理解为在缩放因子选择好anchor尺寸后，用a_r来控制anchor形状，从而获得多尺度的各类anchor，当a_r=1时，增长一种 s_k=sqrt(s_k-1s_k+1)，因而每一个feature map cell一般对应6种anchor。

• 网络的训练目标就是，回归各个anchor对应的类别和位置

Training

样本

• 正样本
  选择与bounding box jaccard overlap（两张图的交集/并集）大于0.5的anchor做为正样本

• 样本比例
  Hard negative mining：因为负样本不少，须要去掉一部分负样本，先整图通过网络，根据每一个anchor的最高类置信度进行排序，选择置信度靠前的样本，这样筛选出来的负样本也会更难识别，而且最终正负样本比例大概是1:3

Loss

仍是一如既往的location loss + classification loss，并为location loss添加了系数α（然而实际上α=1）进行平衡，并在batch维度进行平均

• x是x_ij^p的集合x_ij^p={1,0}，用于判断第i个anchor是不是第j个bounding box上的p类样本
• c是c_i^p的集合，c_i^p是第i个anchor预测为第p类的几率
• l是预测的bounding box集合
• g是ground true bounding box集合

其中定位loss与faster rcnn相同

这个式子里的k不是很明确，其实想表达不算背景0类的意思，且前景类只为match的类算location loss

分类loss就是很经常使用的softmax交叉熵了

核心的内容到这里就讲完了，其实跟YOLO和faster rcnn也很像，是一个用anchor box充当固定的proposal的rpn，而且用多尺度的anchor来适应多种尺度和形状的目标对象。

Detail

在训练中还用到了data augmentation（数据加强/扩充），每张图片可能是由下列三种方法之一随机采样而来

• 使用整图
• crop图片上的一部分，crop出来的min面积为0.1,0.3,0.5,0.7,0.9
• 彻底随机地crop

而后这些图片会被resize到固定的大小，随机水平翻转，加入一些图像上的噪声，详情能够参考另外一篇论文：

Some improvements on deep convolutional neural network based image classification

从切除实验中，能够看到data augmentaion是很重要的（从65.6到71.6）

这个表中还提到了atrous，实际上是指空洞卷积，是图像分割（deeplab）领域首先提出的一个卷积层改进，主要是能让测试速度更快。具体能够参考 ICLR2015 Deeplab

从这个表中也能够看出多种形状的anchor能够提高准确率

Result

输入尺寸为300x300，batch size为8的SSD300能够作到实时(59FPS)且准确(74.3% mAP)的测试

Summary

SSD算是一个改进性的东西，站在Faster RCNN的肩膀上达到了实时且准确的检测