可变形卷积系列(三) Deformable Kernels，创意满满的可变形卷积核 | ICLR 2020

时间 2020-07-23 标签可变形系列 deformable kernels 创意满满的 iclr

论文提出可变形卷积核(DK)来自适应有效感觉域，每次进行卷积操做时都从原卷积中采样出新卷积，是一种新颖的可变形卷积的形式，从实验来看，是以前方法的一种有力的补充。
来源：晓飞的算法工程笔记公众号git

论文: Deformable Kernels: Adapting Effective Receptive Fields for Object Deformationgithub

论文地址：https://arxiv.org/abs/1910.02940
代码地址：https://github.com/hangg7/deformable-kernels

Introduction

传统的卷积因为存在硬性的规则，在对于物体放大或旋转时，不能做出适应性的改变，而可变形卷积则经过改变输入的采样位置来进行适应性的改变，即改变理论感觉域。但理论感觉域并不能度量像素对输出的贡献，相比理论感觉域，更重要的是有效感觉域(ERF)，经过计算输出对应输入的偏导得到(与卷积权重相关)，改变理论感觉域只是改变有效感觉域的一种手段。
为此，论文提出可变形卷积核(Deformable Kernels, DK)，用于进行可变形建模的新型卷积操做，在推理时根据输入直接生成新的卷积核来改变有效感觉域。如图d，DK学习卷积核的偏移来对原卷积进行从新采样，而不改变输入数据。从实验结果来看，DK对分类任务和检测任务都十分有效，结合旧的可变形卷积方法能产生更好的结果。web

Approach

对有效感觉域概念不感兴趣的能够直奔后面对可变形卷积核的描述，前面有效感觉域的介绍不影响后面内容。算法

A Dive into Convolutions

2D Convolution

大小为，stride为1的二维卷积操做如公式1，输出为目标区域像素与卷积核乘积的和，。微信

Theoretical Receptive Field

卷积层单个输出相对于上一层的输入的感觉域大小为卷积核大小，当卷积层叠加起来时，单个输出的对应的隔层感觉域也会所以而叠加，获得的叠加区域即理论感觉域，与卷积核大小和网络深度线性相关。网络

Effective Receptive Field

因为卷积的叠加以及非线性激活的引入，理论感觉域内的像素对输出的贡献各不相同，可使用有效感觉域(ERF)来度量区域内每一个像素对输出的影响，经过计算输出对应像素值的偏导获得，具体能够看参考论文。ide

Analysis on Effective Receptive Fields

这里主要分析如何根据输入和一系列卷积来计算有效感觉域，先分析线性卷积网络的情景，再拓展到非线性卷积网络。svg

对于线性卷积网络，给定为输入图片以及stride为1的卷积权重合集，公式1能够展开为公式2，特征图和卷积权重的上标以及卷积核位置的下标为层数。函数

根据ERF的定义，输出坐标对应输入坐标的有效感觉域值计算为公式3，为指示函数。公式3的意义为全部从到的路径的权重和，权重的计算为卷积核权重的累积，有效感觉域值跟输出的采样位置、卷积核位置以及卷积核权重有关。学习

假设将第个卷积核替换为卷积核，ERF的计算会变为公式4， \ 即不包含层，这里每条路径权重直接乘上，由于层只有一个路径，符合指示函数的路径一定包含。

卷积能够当作分散在矩形区域内的个卷积，所以，公式3能够改写成公式5，将层的卷积当作多个卷积，相对的输出位置也要进行相应的修改(这里应该为比较合适)。

对于复杂的非线性卷积，在公式1中加入ReLU激活获得公式6，即每层卷积都接激活函数。

非线性版本的有效感觉域值计算为上式，因子使得ERF值变成与数据相关，实际中的有效感觉域是不规则的形状，包含许多不规则分布的零值。
须要注意，公式4和公式5的计算是线性的，使得有效感觉域值计算能与内核的线性采样操做兼容，好比使用双线性插值得到小数位置的内核值，便可以认为内核采样等对数据进行线性ERF采样(ERF与输出的采样位置、卷积核位置以及卷积核权重有关)，这种兼容性也能够类似地推广到非线性的状况下。基于以上的分析，论文提出可变形卷积核(Deformable Kernels, DK)。

Deformable Kernels(DK)

DK添加了可学习的核偏移值，使得输出的计算从公式1变为公式7，ERF的计算也变成了与核偏移值相关的公式8。因为偏移值一般包含小数，使用双线性插值来计算偏移后的值。原卷积核的大小称为score size，通常DK对scope size是没有约束的，便可以从大小为的原卷积中采样出的新卷积，而后用于大小为区域上。这样网络可以尽量使用更大的原卷积而不会带来太多的额外计算，论文最大的原卷积为。

如图2，DK有两种实现形式，全局模式和局部模式，为可学习的核偏移值生成器，将输入块转换为内核的偏移值：

全局模式的实现为global average pooling层+全链接层，分别用于降维以及输出个偏移值。
局部模式的实现为与目标卷积大小同样的卷积操做，输出为维，最终输出为。

全局模式更关注总体图片，根据整图进行核偏移，而局部模式则更关注图片的局部区域，对于小物体，生成形状特别的核(值差别大)，从而使得ERF更密集，而对于大物体，生成较扁平的核(值差别小)，使得ERF更广阔。通常状况下，局部模式的自由度更高。

Computation Flow of Deformable Kernels

图5展现了局部DK的计算示意图，偏移值生成器根据输入生成偏移值，将目标卷积的点均匀平铺在原卷积中，而后根据偏移值进行偏移，使用双线性插值计算偏移后的权重更新目标卷积，最后使用目标卷积对输入进行卷积输出。

前向时，给予原卷积和学习到的卷积核偏移，结合双线性插值生成目标卷积，而后使用目标卷积对输入进行常规的卷积输出。

DK的反向传播须要生成3种梯度：

前一层特征图的梯度
当前层原生卷积的梯度
当前层偏移值生成器的梯度

前两种的计算方法与普通的卷积同样，第三种则使用公式13结合双线性插值的计算方法。

Link with Deformable Convolutions

DK的核心是学习适应输入的偏移值来原卷积进行采样，从而达到可变形的目的，总体思想可能与可变形卷积相似。

可变形卷积的计算如公式9，主要是对数据进行偏移，而有效感觉域则为公式10。如前面说到的，有效感觉域与输出的采样位置以及卷积核位置有关，这在必定程度上了解释可变形卷积为什么适用于学习形状多变的目标。

假设同时对数据和核进行偏移，输出的计算以及有效感觉域的计算如公式11，尽管两种方法的目的是相似的，但在实际中发现，两种方法协做可以带来很好更好的效果。

Experiments

实验主要针对深度卷积(depthwise convolutions)进行优化，内核偏移不能超过越过score size。基础模型为ResNet-50-DW和MobileNetV2，对比实验加入条件卷积(Conditional Convolutions)和可变形卷积(Deformable Convolutions)的对比。