GoogLeNet结构

Inception v1

论文：《Going deeper with convolutions》

在较低的层（靠近输入的层）中，相关单元更侧重提取局部区域的信息。所以使用1x1的特征能够保存这些特征，从而与其余支路提取的特征进行融合。

3x3和5x5的卷积是想要提取不一样尺度的特征，3x3卷积和5x5卷积以前的1x1的卷积做用是减小channel，从而下降参数量。

论文中说到之因此使用pooling，是由于pooling操做在目前最好的卷积网络中是必要的，我的理解是pooling操做能够加强网络的平移不变性。

GoogLeNet结构（Inception V1）

输入为224x224的RGB图像，‘#3x3 reduce’和‘#5x5 reduce’表示3x3和5x5卷积以前1x1的卷积核的个数。

 为了阻止该网络中间部分梯度消失，做者引入了两个辅助分类器。它们对其中两个 Inception 模块的输出执行 softmax 操做，而后在一样的标签上计算辅助损失。总损失即辅助损失和真实损失的加权和。辅助损失只是用于训练，在推断过程当中并不使用。

 

Inception v2

论文：《Rethinking the Inception Architecture for Computer Vision》

大尺度的卷积每每会形成计算的浪费，由于大尺度卷积能够分解为几个小尺度的卷积，从而减少计算量。例如5x5的卷积能够分解为两层3x3的卷积，然后者的计算量也更小。所以，在inception v2中，大尺度的卷积被分解为小尺度卷积。此外，论文还提出了使用1xn和nx1的两层卷积代替nxn卷积。inception模块之间使用stride=2的卷积来下降尺度，而非pooling操做。

论文提出的几种inception模块以下

Figure 5

Figure 6

Figure 7

GoogLeNet的结构以下

inception之间使用下面模块下降尺度。

Inception v3

做者注意到辅助分类器直到训练过程快结束时才有较多贡献，那时准确率接近饱和。做者认为辅助分类器的功能是正则化，尤为是它们具有 BatchNorm 或 Dropout 操做时。是否可以改进 Inception v2 而无需大幅更改模块仍须要调查。

解决方案：

Inception Net v3 整合了前面 Inception v2 中提到的全部升级，还使用了：

• RMSProp 优化器；
• Factorized 7x7 卷积；
• 辅助分类器使用了 BatchNorm；
• 标签平滑（添加到损失公式的一种正则化项，旨在阻止网络对某一类别过度自信，即阻止过拟合）。

 

Inception v4

论文：《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》

改论文提出了inception结合ResNet的网络模块。卷积网络参数中标V的，padding使用valid类型。因为论文提出的模块较多，在此方向模块结构，不作详细说明。