深度学习知识点复习：feature normalization和batch normalization

1 为什么要对input 做normalization： input上的值差异非常巨大，导致模型训练的很慢，如左图所示，如果差异很小，训练很快，如右图 为了使得loss改变，不同的w的改变的幅度不一样，因此左图纵向上波动很短。右图因为w1和w2的波动对损失的影响差不多，因此是一个对称的圆形。 通常对左边情况的只有将lr 调低一点，使得w2 缓慢调整降低loss。 2 feature normali

>>阅读原文<<