论文《Network in Network》笔记

论文：Lin M, Chen Q, Yan S. Network In Network[J]. Computer Science, 2013.

参考：关于CNN中1×1卷积核和Network in Network的理解

参考： 深度学习（二十六）Network In Network学习笔记

1. 1×1 convolutions

做用：1×1卷积核能够起到一个跨通道聚合的做用，因此进一步能够起到降维（或者升维）的做用，起到减小参数的目的。 好比当前层为 x*x*m即图像大小为x*x，特征层数为m，而后若是将其经过1×1的卷积核，特征层数为n，那么只要n<m这样就能起到降维的目的，减小以后步骤的运算量（固然这里不太严谨，须要考虑1×1卷积核自己的参数个数为m×n个）。换句话说，若是使用1x1的卷积核，这个操做实现的就是多个feature map的线性组合，能够实现feature map在通道个数上的变化。 而由于卷积操做自己就能够作到各个通道的从新聚合的做用，因此1×1的卷积核也能达到这个效果。

2. MLP卷积层

通常来讲，若是咱们要提取的一些潜在的特征是线性可分的话，那么对于线性的卷积运算来讲这是足够了。然而通常来讲咱们所要提取的特征通常是高度非线性的。在传统的CNN中，也许咱们能够用超完备的滤波器，来提取各类潜在的特征。好比咱们要提取某个特征，因而就用了一大堆的滤波器，把全部可能的提取出来，这样就能够把想要提取的特征也覆盖到，然而这样存在一个缺点，那就是网络太恐怖了，参数太多了。

CNN高层特征实际上是低层特征经过某种运算的组合。因而做者就根据这个想法，提出在每一个局部感觉野中进行更加复杂的运算，提出了对卷积层的改进算法：MLP卷积层。MLP层能够当作是每一个卷积的局部感觉野中还包含了一个微型的多层网络

3. Maxout层

原先为：

如今为：

3. 全局均值池化

传统的卷积神经网络卷积运算通常是出如今低层网络。对于分类问题，最后一个卷积层的特征图经过量化而后与全链接层链接，最后在接一个softmax逻辑回归分类层。这种网络结构，使得卷积层和传统的神经网络层链接在一块儿。咱们能够把卷积层看作是特征提取器，而后获得的特征再用传统的神经网络进行分类。

然而，全链接层由于参数个数太多，每每容易出现过拟合的现象，致使网络的泛化能力不尽人意。因而Hinton采用了Dropout的方法，来提升网络的泛化能力。

本文提出采用全局均值池化的方法，替代传统CNN中的全链接层。与传统的全链接层不一样，咱们对每一个特征图一整张图片进行全局均值池化，这样每张特征图均可以获得一个输出。这样采用均值池化，连参数都省了，能够大大减少网络，避免过拟合，另外一方面它有一个特色，每张特征图至关于一个输出特征，而后这个特征就表示了咱们输出类的特征。这样若是咱们在作1000个分类任务的时候，咱们网络在设计的时候，最后一层的特征图个数就要选择1000。