深度学习总结3

序言：上一讲中我们谈到了Batch_size的选取以及其大小对模型效果的影响，那么在这一讲中，我们来总结一下归一化。 1.为什么要归一化 2.归一化的优点 3.归一化有哪些类型 4.局部响应归一化作用 一、为什么要归一化 1.避免神经元饱和。就是当神经元的激活在接近 0 或者 1 时会饱和，在这些区域，梯度几乎为 0，这样，在反向传播过程中，局部梯度就会接近 0，这会有效地“杀死”梯度。 2.保证

>>阅读原文<<