【BN层】批量归一化

记录一下学习的批归一化层也就是Batch Normalize层 BN层的计算过程: (1)先给论文中的计算过程和公式: 最后基本可以获得一个组均值为 β 、方差为 γ^2的分布的新数据  (2)形象化过程: BN的作用和意义: 通俗说:BN层使得深层的参数更加适应浅层参数的变化,没有大的影响 官方说法: 防止“梯度弥散” 加速网络收敛速度 可以使用较大的学习率 可代替其他正则方式,例如Dropou
相关文章
相关标签/搜索