深度学习笔记（17）：Batch Norm简介

剖析与心得 我们已经发现了在初始化的时候将输入数据归一化会得到更快的梯度下降速度与效果。那么其实很容易就会想到，如果我们能在神经网络的每一个隐藏层中都控制这些数值的分布，也许效果会不错。那么Batch norm就诞生了。它可以使你训练更深层次的神经网络，并且使得下降更快。 实现过程 只需要四步： 1）求出来每一行的 z z z均值 μ \mu μ 2）求出来每一行的方差 σ \sigma σ2 3

>>阅读原文<<