Batch Normalization(BN)

优点 Batch Normalization（BN）有什么优点？BN的优点是多个并存，这里只提一个个人认为最容易理解的优点和其原因。 训练时的问题 尽管在讲解神经网络概念的时候，神经网络的输入指的是一个向量 。 但在实际训练中有下面的训练方式： 随机梯度下降法（Stochastic Gradient Descent）：用一个样本的梯度来更新权重。 批量梯度下降法（Batch Gradient De

>>阅读原文<<