Batch Normalization的理解

首先在神经网络中，每一层网络结构都会有一个激活函数，以我们比较常见的sigmoid函数为例，我们可以看看sigmoid激活函数的图像如图所示： 我们试想一下，如果这个时候某个神经元的输入为4，那么经过sigmoid函数之后，这个神经元的输出是 y = 0.982 y=0.982 y=0.982，如果神经元的输入为20，经过sigmoid函数之后，神经元的输出是 y = 0.999 y=0.999

>>阅读原文<<