重磅！小目标检测的数据增广秘籍

前戏

最近目标检测方向，出了不少paper，CVer也当即跟进报道（点击可访问）：

TridentNet 处理目标检测中尺度变化新思路

One-stage目标检测最强算法 ExtremeNet

亚马逊提出：目标检测训练秘籍（代码已开源）

本文介绍一篇很棒的小目标检测数据增广论文。该论文是由Tensorflight 提出。以前Amazon提出目标检测训练的Tricks论文，详见 亚马逊提出：目标检测训练秘籍（代码已开源）

简介
《Augmentation for small object detection》

arXiv: https://arxiv.org/abs/1902.07296

github: None

做者团队：Tensorflight等

注：2019年02月19日刚出炉的paper

Abstract：近年来，目标检测取得了使人瞩目的进展。尽管有这些改进，但在检测小物体和大物体之间的性能仍然存在显著差距。咱们在具备挑战性的数据集MS COCO上分析当前最早进的模型Mask-RCNN。咱们代表，小 ground-truth 物体与预测锚点之间的重叠远低于预期的IoU阈值。咱们猜测这是因为两个因素形成的：（1）只有少数图像包含小目标，（2）即便在包含它们的每一个图像中，小目标也看起来不够。所以，咱们建议对这些带有小目标的图像进行过采样，并经过屡次 copy-pasting 小目标来对每一个图像进行加强。它容许咱们将大型目标上的检测器质量与小物体上的检测器质量进行权衡。咱们评估了不一样的 pasting 加强策略，最终，与MS COCO上的当前最早进的方法相比，咱们在实例分割上实现了9.7％的相对提高，在小目标的目标检测上提高了7.1 ％。

正文

背景

先看一下表1了解一下为何要针对小目标进行优化。表1 是MS COCO实例分割挑战赛的排名状况，可见旷视科技排名No.1，排名第二的是...这不是重点，重点是红色标注的AP Small数据。AP Small明显低于AP Medium和AP Large。所以本文要研究的是如何提升AP Small。

图片表1. In the top submissions for MS COCO instance segmentation challenge

主要贡献

1. 该论文的baseline：Mask R-CNN+FPN+ResNet-50

图1. Anchors positively assigned (IoU > 0.5) to ground truth objects during training in the Mask-RCNN network

2. 论文主要对COCO 数据集进行了分析：

在MS COCO中，训练集中出现的全部目标中有41.43％是小的，而只有34.4％和24.2％分别是中型和大型目标。另外一方面，只有约一半的训练图像包含任何小物体，而70.07％和82.28％的训练图像分别包含中型和大型物体。 请参阅表2中的对象计数和图像。这确认了小对象检测问题背后的第一个问题：使用小对象的示例较少。

表2. The MS COCO dataset objects statistics with respect to matched anchors in Mask-RCNN based on RPN

具体创新点

1. Oversampling

在第一组实验中，咱们研究了包含小目标的过采样图像的影响。咱们在实验中改变了过采样率。咱们建立了多个图像副本，而不是实际的随机过采样，以提升效率。

2. Augmentation

在第二组实验中，咱们研究了使用加强对小目标检测和分割的影响。 咱们复制并粘贴每一个图像中的全部小目标一次。 咱们还用对含有小目标的图像进行过采样，以研究过采样和加强策略之间的相互做用。

咱们测试了三种设置。 在第一个设置中，咱们用带有 copy-pasted 的小目标的图像替换每一个图像。在第二个设置中，咱们复制这些加强图像以模拟过采样。在最终设置中，咱们保留原始图像和加强图像，这至关于用小目标对图像进行过分采样两倍，同时用更小的目标扩充复制的副本。

3. Copy-Pasting Strategies

有不一样的方法来复制粘贴小目标。咱们考虑三种策略。 首先，咱们在图像中选择一个小目标，并在随机位置复制粘贴屡次。 其次，咱们选择了许多小目标，并在任意位置复制粘贴这些目标一次。 最后，咱们在随机位置屡次复制粘贴每一个图像中的全部小目标。 在全部状况下，咱们使用上面第三个加强设置; 也就是说，咱们保留原始图像和加强副本。

4. Pasting Algorithms

粘贴小目标的副本时，有两件事须要考虑。 首先，咱们必须肯定粘贴的目标是否会与任何其余目标重叠。虽然咱们选择不引入任何重叠，但咱们经过实验验证它是不是一个好的策略。其次，是否执行添加过程以平滑粘贴对象的边缘是一种设计选择。咱们试验具备不一样滤波器尺寸的边界的高斯模糊是否能够帮助进一步处理。

实验结果

上述4点方法对小目标检测都有必定改进，具体结果以下图所示：

论文在实例分割上实现了9.7％的相对提高，在小目标的目标检测上提高了7.1 ％。

想要了解最新最快最好的论文速递、开源项目和干货资料，欢迎加入CVer学术交流群。涉及图像分类、目标检测、图像分割、人脸检测&识别、目标跟踪、GANs、学术竞赛交流、Re-ID、风格迁移、医学影像分析、姿态估计、OCR、SLAM、场景文字检测&识别和超分辨率等方向。