深度学习之卷积神经网络经典网络之SENet

SENet（Squeeze-and-Excitation Networks）获得了2017年ILSVR挑战赛的冠军，使得在ImageNet上的TOP-5错误率下降至2.25%。

SENet综合了inception和ResNet的一些思想，inception和ResNets的扩展版本分别叫SE-Inception和SE-ResNets，SENet性能的提升源于在inception 模块和ResNets 残差单元之间加入了SE block，如下图所示：

SE block分析了输出的哪些特征最有可能一起被激活，根据分析的结果调整特征图，如下图所示：

SE block共有三层：全局平均池化层、使用ReLU激活函数的全连接层、使用Sigmoid激活函数的全连接层，如下图所示：

• 全局平均池化层：计算每个特征图的平均值，对于256个特征图面言，输出256个数值。
• 使用ReLU激活函数的全连接层：神经元个数通常为上一层（全局平均池化层）特征图个数的16分之一，则为256/16=16。这一次将256个特征图的平均池化结果压缩到16，因此这层就是发生压缩的层。
• 使用Sigmoid激活函数的全连接层：神经元个数与全局平均池化层特征图个数相同，输出一个数值在0到1之间的向量，用于特征图权重的调整。全局平均池化层之前的特征图与输出向量相乘，不相关的特征图数值更小，只留下更相关的特征图。