Batch normalization分析

Batch normalization分析 为简洁起见，下文中将batch normalization简写为BN 优点： BN使得训练过程中可以用更大的学习率，加速学习过程 网络引入BN之后，可以利用sigmoid函数，使得容易出现的梯度淹没问题得到了解决。 在此基础上出现了layer normalization和weighted normalization 缺点： 虽然技术成熟，但在实践过程中也

>>阅读原文<<