一文读懂物体分类AI算法：LeNet-5 AlexNet VGG Inception ResNet MobileNet

摘要： 当前深度学习十分火热，深度学习网络模型对于下降错误率的重要做用不言而喻。深度学习应用场景主要分为三类：物体识别与分类，物体检测，天然语言处理。在物体识别与分类领域，随着AlexNet在2012年一炮走红，深度学习从新燃起了一片热情。从Lenet5第一次使用卷积开始，经历了AlexNet VGG Inception ResNet等各类模型，错误率也一再下降。ResNet-152

1 引言

当前深度学习十分火热，深度学习网络模型对于下降错误率的重要做用不言而喻。深度学习应用场景主要分为三类：物体识别与分类，物体检测，天然语言处理。在物体识别与分类领域，随着AlexNet在2012年一炮走红，深度学习从新燃起了一片热情。从Lenet5第一次使用卷积开始，经历了AlexNet VGG Inception ResNet等各类模型，错误率也一再下降。ResNet-152 top-5错误率仅为3%左右，远低于人眼的5.1%。本文主要讲解各类网络模型的结构，他们的特色，以及这些特色为什么能减小训练时间和下降错误率。

2 LeNet-5

LeNet-5的出现标志着CNN卷积神经网络在AI领域的出现，CNN以视觉感觉野和权值共享的思想，大大减小了模型参数，使得深度学习模型训练成为了可能。但因为诞生于1998年，GPU的概念都尚未提出，CPU的性能又是极其低下，并且LetNet-5只能使用在手写字识别等很简单的应用场景，故一直没有火起来。但做为CNN应用的开山鼻祖，学习CNN势必先从学习LetNet-5开始。LeNet-5网络结构以下图

LeNet-5输入为32x32的二维像素矩阵，因为是灰度图，输入通道为1，其正向传播步骤为

1. 先通过一层5x5的卷积，feature map为6，也就是输出通道为6。因为没有在图片四周加padding，像素矩阵大小变为了28x28。这一层参数量为(5x5+1)x6 = 156。
2. 而后通过一层2x2的平均值池化层进行下采样。像素矩阵大小变为了14x14
3. 再通过一层5x5的卷积，feature map为16。像素矩阵大小变为了10x10。这一层参数量为(5x5x6+1)x16 = 2416
4. 而后通过一层2x2的最大值池化层。像素矩阵大小变为了5x5
5. 在通过一层5x5的卷积，feature map为120。像素矩阵大小变为了1x1。这一层参数量为(5x5x16+1)x120 = 48120
6. 而后通过一层全链接层, 输出为84.故这一层参数量为84x120 = 10080
7. 最后一层为Gaussian Connections输出层，输出0~9共10个分类。目前主流输出层已经由softmax来代替

LeNet-5的特色以下

1. 使用了卷积来提取特征，结构单元通常为卷积 - 池化 -非线性激活
2. 已经加入了非线性激活，激活函数采用了tanh和sigmoid，目前大多数状况下咱们使用的是relu
3. 池化层使用的是平均值池化，目前大多数状况下咱们使用最大值池化
4. 分类器使用了Gaussian Connections，目前已经被softmax替代

3 AlexNet

AlexNet在2012年以16.4%的显著优点问鼎ILSVRC的冠军，从新燃起了人们对于深度学习研究的热情。它第一次采用了relu，dropout，GPU加速等技巧，参数量为6000万，模型大小240M左右。其网络结构以下

AlexNet输入图片为224x224, 输入为RGB三通道。正向传播共5个卷积层和3个全链接层，步骤为

1. conv1-relu1-pool1-lrn1: 11x11的卷积，步长为4， 输出通道96,也就是96个特征图。分为两组，每组48个通道。而后经过一层relu的非线性激活。在通过一层最大值池化，池化核大小3x3, 步长为2。最后再通过一层LRN，局部响应归一化。第一层运算后图片大小为27x27x96
2. conv2-relu2-pool2-lrn2: 第二层的输入即为第一层的输出，也就是27x27x96的像素矩阵。96个feature map分红两组，分别在两个GPU中进行运算。卷积核大小为5x5, 步长为1，输出通道为128. 而后进过一层relu非线性激活。再通过一层最大值池化，池化核大小仍然为3x3, 步长为2. 最后再通过一层LRN。第二层运算后为两组13x13x128的图片
3. conv3-relu3: 第三层的输入为第二层的输出，也就是13x13x128的像素矩阵。先通过卷积核大小为3x3x192的卷积运算，步长为1。而后就是relu非线性激活。注意这一层没有max-pooling和LRN。第三层运算后为两组13x13x192
4. conv4-relu4: 第四层先通过卷积核大小为3x3, 步长为1的卷积运算，而后通过relu非线性激活。第四层运算后尺寸仍然为两组13x13x192的图片
5. conv5-relu5-pool5:第五层先通过卷积核大小为3x3, 输出通道128，步长为1的卷积运算，而后通过relu非线性激活。最后通过一层大小为3x3, 步长为2的max-pooling, 第五层运算后为两组6x6x128的图片
6. fc6-relu6-dropout6: 第六层为全链接层，输入为两组6x6x128, 组合在一块儿也就是6x6x256。输出通道为4096。通过relu和dropout后输出。输出为4096的一维向量
7. fc7-relu7-dropout7: 第七层为全链接层，输入为4096的一维向量，输出也为4096的一维向量，也就是4096x4096的全链接。而后经过relu和dropout输出。输出为4096的一维向量。
8. fc8: 第八层为全链接层，输入为4096的一维向量，输出为1000的一维向量，对应1000个分类的输出。也就是4096x1000的全链接。输出为1000的一维向量。通过这一层后就能够经过softmax获得1000个分类的分类结果了。

AlexNet的结构特色为

1. 采用relu替代了tanh和sigmoid激活函数。relu具备计算简单，不产生梯度弥散等优势，如今已经基本替代了tanh和sigmoid
2. 全链接层使用了dropout来防止过拟合。dropout能够理解为是一种下采样方式，能够有效下降过拟合问题。
3. 卷积-激活-池化后，采用了一层LRN，也就是局部响应归一化。将一个卷积核在(x,y)空间像素点的输出，和它先后的几个卷积核上的输出作权重归一化。
4. 使用了重叠的最大值池化层。3x3的池化核，步长为2，所以产生了重叠池化效应，使得一个像素点在多个池化结果中均有输出，提升了特征提取的丰富性
5. 使用CUDA GPU硬件加速。训练中使用了两块GPU进行并行加速，使得模型训练速度大大提升。
6. 数据加强。随机的从256x256的原始图片中，裁剪获得224x224的图片，从而使一张图片变为了(256-224)^2张图片。并对图片进行镜像，旋转，随机噪声等数据加强操做，大大下降了过拟合现象。

4 VGG

VGG为ILSVRC 2014年第二名，它探索了卷积网络深度和性能，准确率之间的关系。经过反复堆叠3x3卷积和2x2的池化，获得了最大19层的深度。VGG19模型大概508M，错误率下降到7.3%。VGG模型不复杂，只有3x3这一种卷积核，卷积层基本就是卷积-relu-池化的结构，没有使用LRN，结构以下图。

VGG的特色以下

1. 采用了较深的网络，最多达到19层，证实了网络越深，高阶特征提取越多，从而准确率获得提高。
2. 串联多个小卷积，至关于一个大卷积。VGG中使用两个串联的3x3卷积，达到了一个5x5卷积的效果，但参数量却只有以前的9/25。同时串联多个小卷积，也增长了使用relu非线性激活的几率，从而增长了模型的非线性特征。
3. VGG-16中使用了1x1的卷积。1x1的卷积是性价比最高的卷积，能够用来实现线性变化，输出通道变换等功能，并且还能够多一次relu非线性激活。
4. VGG有11层，13层，16层，19层等多种不一样复杂度的结构。使用复杂度低的模型的训练结果，来初始化复杂度高模型的权重等参数，这样能够加快收敛速度。

5 Google Inception

Google Inception是一个你们族，包括inceptionV1 inceptionV2 inceptionV3 inceptionV4等结构。它主要不是对网络深度的探索，而是进行了网络结构的改进。inceptionV1击败了VGG，夺得2014年ILSVRC冠军。以后Google又对其网络结构进行了诸多改进，从而造成了一个你们族。

5.1 InceptionV1

inceptionV1是一个设计十分精巧的网络，它有22层深，只有500万左右的参数量，模型大小仅为20M左右，但错误率却只有6.7%。它的网络结构特色以下

1. 去除了最后的全链接层，而使用全局平均池化来代替。这是模型之因此小的缘由。AlexNet和VGG中全链接几乎占据了90%的参数量。而inceptionV1仅仅须要1000个参数，大大下降了参数量
2. inception module的使用。借鉴与Network in Network的思想，提出了inception module的概念，容许通道并联来组合特征。其结构以下

inception module分为并联的四路，分别为单独的1x1卷积，1x1并联3x3, 1x1并联5x5, 池化后1x1卷积。使用不一样的卷积结构来提取不一样特征，而后将他们组合在一块儿来输出。

1. 使用了1x1,3x3,5x5等不一样尺寸的卷积，增长了提取特征面积的多样性，从而减少过拟合

5.2 inceptionV2

inceptionV2和V1网络结构大致类似，其模型大小为40M左右，错误率仅4.8%，低于人眼识别的错误率5.1%。主要改进以下

1. 使用两个串联3x3卷积来代替5x5卷积，从而下降参数量，并增长relu非线性。这一点参考了VGG的设计
2. 提出了Batch Normalization。在卷积池化后，增长了这一层正则化，将输出数据归一化到0~1之间，从而下降神经元分布的不一致性。这样训练时就可使用相对较大的学习率，从而加快收敛速度。在达到以前的准确率以后还能继续训练，从而提升准确率。V2达到V1的准确率时，迭代次数仅为V1的1/14, 从而使训练时间大大减小。最终错误率仅4.8%

5.3 inceptionV3

inceptionV3的网络结构也没太大变化，其模型大小96M左右。主要改进以下

1. 使用非对称卷积。用1x3+3x1的卷积来代替一个3x3的卷积，下降了参数的同时，提升了卷积的多样性
2. 分支中出现了分支。以下图

 

5.4 inceptionV4

inceptionV4主要是借鉴了resNet残差网络的思想，能够看作是inceptionV3和resNet的结合。inceptionV4模型大小163M，错误率仅仅为3.08%。主要在ResNet网络中讲解

6 ResNet

6.1 ResNetV1

ResNet由微软提出，并夺得了2015年ILSVRC大赛的冠军。它以152层的网络深度，将错误率下降到只有3.57%，远远低于5.1%的人眼识别错误率。它一样利用全局平均池化来代替全链接层，使得152层网络的模型不至于太大。网络中使用了1x1 3x3 5x5 7x7等不一样尺寸的卷积核，从而提升卷积的多样性。resNetV1_152模型大小为214M，不算太大。

ResNet提出了残差思想，将输入中的一部分数据不通过神经网络，而直接进入到输出中。这样来保留一部分原始信息，防止反向传播时的梯度弥散问题，从而使得网络深度一举达到152层。当前有不少人甚至训练了1000多层的网络，固然咱们实际使用中100多层的就远远足够了。残差网络以下图

ResNet的主要特色，就一个字，深！

6.2 ResNetV2

ResNetV2相对于V1的最大变化，就是借鉴了inceptionV2的BN归一化思想，这样来减小模型训练时间。

7 MobileNet

为了能将模型部署在终端上，须要在保证准确率的前提下，减少模型体积，并下降预测时的计算时间，以提升实时性。为了能到达这一目的，Google提出了mobileNet框架。最终mobileNetV1_1.0_224模型以16M的大小，能够达到90%的top-5准确率。模型甚至能够压缩得更小，mobileNetV1_0.25_128只有10M左右，仍然能达到80%的准确率。

7.1 mobileNet depthwise原理

mobileNet模型的核心是，将一个普通的卷积拆分红了一个depthwise卷积和一个1x1的普通卷积(也叫pointwise卷积）。depthwise卷积层的每一个卷积只和输入的某一个channel进行计算，而combining则由1x1的卷积来负责。以下图

对于卷积核dk*dk,输入通道为M，输出通道为N的普通卷积，每一个输出通道都是由M个卷积分别和输入通道作计算，而后累加出来，因此须要的参数量为dk x dk x M x N。而对于depthwise卷积，每一个卷积只和输入通道的某一个通道发生计算，而且不须要累加操做，其卷积后的输出通道和输入通道相等，仍然为M。而后再通过一层1x1的普通卷积。故其参数为dk x dk x M + 1 x 1 x M x N。

mobileNet参数量比原来减小了多少呢，咱们由下面的计算能够得出

​ (dk x dk x M + 1 x 1 x M x N) / (dk x dk x M x N) = 1/N + 1/(dk^2)

因为输出通道通常都比较大，为48 96 甚至4096， 故通常取1/(dk^2)， 对于最多见的3x3卷积，mobileNet参数量能够下降为原来的1/9.

7.2 mobileNet网络结构

mobileNet一共包含28层，第一层的卷积为普通卷积，以后的卷积为分解的3x3 depthwise卷积和1x1 pointwise卷积。另外，最后有一个全局平均池化层和全链接层。并利用softmax获得分类结果。以下图所示

7.3 mobileNet可裁剪化

为了获得更小的模型，mobileNet还能够进行输入通道和分辨率的剪裁，称为Width Multiplier 和 Resolution Multiplier。Width Multiplier 表示输入通道变为baseline的多少倍， Resolution Multiplier表示输入图像缩小为多少。通过剪裁后的mobileNetV1_0.25_128模型，只有10M左右，准确率仍然可达到80%左右。做为端上图像预处理彻底足够。下面是Width Multiplier 和 Resolution Multiplier的结果

8 总结

CNN已经普遍应用在物体识别和分类领域，短短几年间就出现了AlexNet VGG inception ResNet等优秀的神经网络结构，而且每隔几个月就问世一种优秀网络结构，能够说是百花齐放。这要归功于TensorFlow等框架的成熟和GPU等硬件性能的提高，使得网络结构的设计和验证日趋平民化。各类网络结构，其实本质上也是在解决神经网络的几大痛点问题，以下

1. 减小模型参数量，下降模型体积
2. 加快训练收敛速度，减小训练耗时
3. 加快模型预测计算时间，提升实时性。这主要仍是经过减小参数量来达到
4. 减小过拟合问题
5. 减小网络层级过深时的梯度弥散问题

学习网络模型，不该该去死记硬背，由于有源源不断的网络结构涌现。咱们应该重点掌握每一个模型的特色，以及他们是如何来解决上面列举的这些神经网络痛点的。

原文连接