深度学习《CNN架构续篇 - BatchNorm》

一:batch Normalization BN算法的灵感来自于对图像的白化操作,白化就是对输入图像数据分原始分布规律转换到N(0~1)的分布,这样会使得收敛速度变快。 在深度网络中每一隐藏层的输入都可以做这样的白化处理呢? 随着网络深度的增加,收敛变慢的的原因还有就是数据的分布会变得越来越畸形,数据分布法还是能移动,这也是会导致梯度消失的原因,因此在每个隐藏层如果都做一个Normalizatio
相关文章
相关标签/搜索