Batch Normalization 学习笔记

顾名思义，batch normalization嘛，即“批规范化”，主要作用是为了防止“梯度弥散”。关于梯度弥散，举个很简单的例子，。 1. BN原理 B有人可能会说，BN不就是在网络中间层数据做一个归一化处理嘛，这么简单的想法，为什么之前没人用呢？然而其实实现起来并不是那么简单的。其实如果仅仅对网络某一层A的输出数据做归一化，然后送入网络下一层B，这样是会影响到本层网络A所学习到的特征的。打个比

>>阅读原文<<