Tensorflow2.0学习笔记（七）BatchNorm层

（1）BN的作用 从上图可以看出，Sigmoid函数在[-2，2]区间导数值在[0.1，0.25]，当输入大于2或者小于2时，导数逼近于0，从而容易出现梯度弥散的现象。通过标准化后，输入值被映射在0附近区域，此处的导数不会太小，不会容易出现梯度弥散的现象。 如上图所示的损失函数等高线图可知，当x1和x2分布相近时，收敛更加快速，优化轨迹更好。 结论：通过标准化后，输入值被映射在0附近区域，此处的导

>>阅读原文<<