深度学习方法（十）：卷积神经网络结构变化——Maxout Networks，Network In Network，Global Average Pooling

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。
技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同窗加入。

---

最近接下来几篇博文会回到神经网络结构的讨论上来，前面我在“深度学习方法（五）：卷积神经网络CNN经典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning”一文中介绍了经典的CNN网络结构模型，这些能够说已是家喻户晓的网络结构，在那一文结尾，我提到“是时候动一动卷积计算的形式了”，缘由是不少工做证实了，在基本的CNN卷积计算模式以外，不少简化、扩展、变化均可以让卷积计算得到更多特性，好比参数减小，计算减小，效果提高等等。

接下来几篇文章会陆续介绍下面这些topic:

1. Maxout Networks
2. Network In Network
3. Inception Net（Google）
4. ResneXt
5. Xception（depth-wise convolution）
6. Spatial Transformer Networks
7. …

本文先介绍两个13，14年的工做：Maxout Networks，Network In Network。网上有很多资料，可是不少做者我相信本身都没有彻底理解，在本文中我会尽量描述清楚。本文重点在于Network In Network。本文针对论文和网络资料的整理，本身从新撰写，保证每个初学者均可以看懂。

一、Maxout Network

坦白说Maxout自己并不能算卷积结构的变化，可是它提出了一个概念——线性变化+Max操做能够拟合任意的的凸函数，包括激活函数（如Relu）；后面要介绍的NIN有关系，因此先介绍一下Maxout。

Maxout出如今ICML2013上，大神Goodfellow（GAN的提出人~）将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都取得了start-of-art的识别率。

从论文中能够看出，maxout实际上是一种激或函数形式。一般状况下，若是激活函数采用sigmoid函数的话，在前向传播过程当中，隐含层节点的输出表达式为：

通常的MLP就是这样状况。其中W通常是2维的，这里表示取出的是第i列（对应第i个输出节点），下标i前的省略号表示对应第i列中的全部行。若是是maxout激活函数，则其隐含层节点的输出表达式为：

这里的W是3维的，尺寸为d*m*k，其中d表示输入层节点的个数，m表示隐含层节点的个数，k表示每一个隐含层节点展开k个中间节点，这k个中间节点都是线性输出的，而maxout的每一个节点就是取这k个中间节点输出最大的那个值。参考一个日文的maxout ppt 中的一页ppt以下：

这张图的意识是说，紫圈中的隐藏节点展开成了5个黄色节点，取max。Maxout的拟合能力是很是强的，它能够拟合任意的的凸函数。从左往右，依次拟合出了ReLU，abs，二次曲线。

做者从数学的角度上也证实了这个结论，即只需2个maxout节点就能够拟合任意的凸函数了（相减），前提是中间节点的个数能够任意多，以下图所示，具体能够翻阅paper[1]。maxout的一个强假设是输出是位于输入空间的凸集中的….这个假设是否必定成立呢？虽然ReLU是Maxout的一个特例——其实是得不到ReLU正好的状况的，咱们是在学习这个非线性变换，用多个线性变换的组合+Max操做。

二、Network In Network

OK，上面介绍了Maxout[1]，接下来重点介绍一下14年新加坡NUS颜水成老师组的Min Lin一个工做Network In Network ，说实话，不管是有心仍是无心，本文的一些概念，包括1*1卷积，global average pooling都已经成为后来网络设计的标准结构，有独到的看法。

图1

先来看传统的卷积，图1左：

不少同窗没有仔细看下标的含义，因此理解上模棱两可。xij表示的是一个卷积窗口的patch（通常是k_h*k_w*input_channel），k表示第k个kernel的index；激活函数是ReLU。并非说只作一个kernel，而是指任意一个kernel。

再来看本文提出的Mlpconv Layer，也就是Network In Network，图1右。这里只是多加了一层全链接MLP层，什么意思呢？做者称之为“cascaded cross channel parametric pooling layer”，级联跨通道的带参数pooling层，目的是：

Each pooling layer performs weighted linear recombination on the input feature maps

看公式2就很清楚了，是第一层仍是传统的卷积，在作一次卷积之后，对输出feature map的中的每个像素点fij，其对应的全部channel又作了一次MLP，激活函数是ReLU。n表示第n层，而kn表示一个index，由于在第n层里面有不少kernel，和前面公式1是一个道理。因此，咱们看下面整个NIN网络就很清楚了：

看第一个NIN，原本11*11*3*96（11*11的卷积kernel，输出map 96个）对于一个patch输出96个点，是输出feature map同一个像素的96个channel，可是如今多加了一层MLP，把这96个点作了一个全链接，又输出了96个点——很巧妙，这个新加的MLP层就等价于一个1 * 1 的卷积层，这样在神经网络结构设计的时候就很是方便了，只要在原来的卷积层后面加一个1*1的卷积层，而不改变输出的size。注意，每个卷积层后面都会跟上ReLU。因此，至关于网络变深了，我理解其实这个变深是效果提高的主要因素。

举例解释

假设如今有一个3x3的输入patch，用x表明，卷积核大小也是3x3，向量w表明，输入channel是c1，输出channel是c2。下面照片是我本身手画的，比较简单，见谅：）

• 对于通常的卷积层，直接x和w求卷积，获得1*1的1个点，有C2个kernel，获得1*1*c2；
• Maxout，有k个的3x3的w（这里的k是自由设定的），分别卷积获得k个1x1的输出，而后对这k个输入求最大值，获得1个1*1的点，对每个输出channel都要这样作；
• NIN，有k个3x3的w（这里的k也是自由设定的），分别卷积获得k个1x1的输出，而后对它们都进行relu，而后再次对它们进行卷积，结果再relu。（这个过程，等效于一个小型的全链接网络）

这里创建了一个概念，全链接网络能够等价转换到1*1的卷积，这个idea在之后不少网络中都有用到，好比FCN[5]。

Global Average Pooling

在Googlenet网络中，也用到了Global Average Pooling，实际上是受启发于Network In Network。Global Average Pooling通常用于放在网络的最后，用于替换全链接FC层，为何要替换FC？由于在使用中，例如alexnet和vgg网络都在卷积和softmax之间串联了fc层，发现有一些缺点：

（1）参数量极大，有时候一个网络超过80~90%的参数量在最后的几层FC层中；
（2）容易过拟合，不少CNN网络的过拟合主要来自于最后的fc层，由于参数太多，却没有合适的regularizer；过拟合致使模型的泛化能力变弱；
（3）实际应用中很是重要的一点，paper中并无提到：FC要求输入输出是fix的，也就是说图像必须按照给定大小，而实际中，图像有大有小，fc就很不方便；

做者提出了Global Average Pooling，作法很简单，是对每个单独的feature map取全局average。要求输出的nodes和分类category数量一致，这样后面就能够直接接softmax了。

做者指出，Global Average Pooling的好处有：

• 由于强行要求最后的feature map数量等于category数量，所以feature map就会被解析为categories confidence maps.
• 没有参数，因此不会过拟合；
• 对一个平面的计算，使得利用了空间信息，对于图像在空间中变化更鲁棒；

Dropout

最后稍微提一下dropout，这个是hinton在Improving neural networks by preventing co-adaptation of feature detectors[9]一文中提出的。方法是在训练时，一层隐藏层输出节点中，随机选p（好比0.5）的比例的节点输出为0，而与这些0节点相连的那些权重在本次迭代training中不被更新。Dropout是一个很强力的正则方法，为啥？由于有一部分权重没有被更新，减小了过拟合，并且每一次训练能够看作使用的网络model是不同的，所以，最终全局就至关因而指数个model的混合结果，混合模型的泛化能力每每比较强。通常Dropout用于FC层，主要也是由于FC很容易过拟合。

---

OK，本篇就到这里，欢迎初学DL的同窗分享，有问题能够在下面留言。

---

参考资料

[1] Maxout Networks, 2013
[2] http://www.jianshu.com/p/96791a306ea5
[3] Deep learning：四十五(maxout简单理解)
[4] 论文笔记 《Maxout Networks》 && 《Network In Network》
[5] Fully convolutional networks for semantic segmentation, 2015
[6] http://blog.csdn.net/u010402786/article/details/50499864
[7] 深度学习（二十六）Network In Network学习笔记 [8] Network in Nerwork， 2014 [9] Improving neural networks by preventing co-adaptation of feature detectors