BN的好处、正则化（7）

鱼书记录7： 1. Batch Normalization 的算法好处 可以使学习快速进行（可以增大学习率）。 不那么依赖初始值（对于初始值不用那么神经质）。 抑制过拟合（降低Dropout等的必要性）。 综上，通过使用Batch Norm，可以推动学习的进行。并且，对权重初始值变得健壮（“对初始值健壮”表示不那么依赖初始值）。 2.正则化 2.1.权值衰减 L1和L2范数： 2.2.Dropou

>>阅读原文<<