Inception系列之Batch-Normalization

 Inception系列之Inception_v1

Inception系列之Inception_v2-v3

　　训练深度神经网络很是复杂，由于在训练过程当中，随着先前各层的参数发生变化，各层输入的分布也会发生变化，图层输入分布的变化带来了一个问题，由于图层须要不断适应新的分布，所以训练变得复杂，随着网络变得更深，网络参数的细微变化也会放大。因为要求较低的学习率和仔细的参数初始化，这减慢了训练速度，而且众所周知，训练具备饱和非线性的模型很是困难。咱们将此现象称为内部协变量偏移，并经过归一化层输入来解决该问题。

 

    Batch Normalization经过将归一化做为模型体系结构的一部分并为每一个训练小批量执行归一化来汲取其优点。批处理规范化使咱们可使用更高的学习率，而对初始化则没必要那么当心。它还能够充当正则化器，在某些状况下，不须要Dropout，BN朝着减小内部协变量偏移迈出了一步，而且在此过程当中极大地加速了深度神经网络的训练。它经过固定图层输入的均值和方差的归一化步骤来完成此操做。

 

    BN应用于最早进的图像分类模型，以较少的14倍训练步骤便可达到相同的精度，而且在很大程度上击败了原始模型。使用批归一化网络的模型在 ImageNet分类中达到4.9％的top-5验证错误（和4.8％的测试错误），超过了人类评分者的准确性。

 

Batch-Normalization实现

 

    最开始的想法是经过白化来实现分布归一化，然而考虑到白化须要在梯度降低外计算协方差矩阵，所以白化层将严重影响计算量。后来选择了在mini-batch中使用以下公式实现归一化：

    请注意，简单地标准化图层的每一个输入可能会更改该图层能够表示的内容。例如，对S形输入进行归一化会将其约束为非线性的线性状态。为了解决这个问题，咱们确保网络中插入的转换能够表示身份转换（the transformation inserted in the network can represent the identity transform）。所以，咱们为每次激活x（k）引入一对参数γ（k），β（k），它们可缩放和移动标准化值：

其中，γ(k) = Var[x(k)]开根号，β(k) = E[x(k)]

 

具体实现算法伪代码以下：

    在训练期间，咱们须要经过此变换反向传播损耗gradient的梯度，以及计算与BN变换的参数有关的梯度。咱们使用链式规则，以下所示（在简化以前）：

    所以，BN转换是将标准化激活引入网络的可微分转换。这样能够确保在训练模型时，各层能够继续学习内部协变量偏移较少的输入分布，从而加快了训练速度。此外，将学习到的仿射变换应用于这些规范化激活，可使BN变换表示身份变换并保留网络容量。

 

Batch-Normalization在卷积层中应用

 

    卷积网络中添加BN前的映射方程为z = g（W u + b),这里g是激活函数。在添加BN后变为了z = g（BN（W u））,这里去除了b，因为咱们对W u + b进行了归一化，所以能够忽略误差b，由于其做用将被随后的均值减法抵消（误差的做用在前面的式子中由β所实现）

 

Batch-Normalization有利于使用更大的学习率

 

    在传统的深度网络中，太高的学习率可能会致使梯度爆炸或消失，以及陷入不良的局部最小值。批处理规范化有助于解决这些问题。经过对整个网络的激活进行标准化，能够防止对参数的细微更改放大为梯度激活中的较大和次佳的更改。例如，它能够防止训练陷入非线性的饱和状态。

    批归一化还使训练对参数规模更具弹性。一般，较高的学习率可能会增长图层参数的规模，而后放大反向传播期间的梯度并致使模型爆炸。可是，使用批归一化，经过层的反向传播不受其参数范围的影响。确实，对于标量a, 假设BN (W u) = BN ((aW )u)，（这里能够这么假设的缘由，我的理解是BN有仿射变换，能够实现不一样卷积参数大小获得相同的结果），等式两边分别对u和W求导，

    对此，比例尺a不会影响雅可比层，也不会影响梯度传播。并且，较大的权重反而有较小的梯度，而且“批归一化”将稳定参数的增加。

 

Batch-Normalization实际效果

 

1. 增长学习率

2. 可去除Dropout

3. 减小L2权重正则化

4. 加速学习率衰减

5. 再也不须要局部响应归一化（LRN）（在BN提出来以前是使用LRN）

6. 更完全地混洗训练示例

7. 减小光度失真

    后两个不太好理解，例如第七点，原文的说法是“因为批量归一化的网络训练速度更快，而且观察每一个训练示例的次数更少，所以，咱们使训练者能够经过减小畸变来专一于更多“真实”的图像。“我我的的理解是能够减小对图像进行畸变这种数据加强方式，由于有了BN后能更关注于真实图像，但这种理解不够直观，并不知道为何会能够这样。

 

实验效果，收敛速度明显更快，精度更高。

 

若有错误或不合理之处，欢迎在评论中指正。

欢迎关注公众号“CV技术指南”，主要进行计算机视觉方向的论文解读，最新技术跟踪，以及CV技术的总结。