BN层原理及作用

BN:batchnorm 批量标准化。 解决的问题:输入的数据都具有不同的分布,会给下层网络的训练带来困难。 计算方法: 1.先求出此次批量数据x的均值 2.求出此次批量的方差 3.接下来就是对本次批量的x做归一化:xi-E(x)/(根号下批量方差-极小值(eps))防止分母为0. 4.最后最重要,引入缩放和平移变量γ和β 如果γ和β分别等于此batch的方差和均值,那么yi就还原到了归一化前的x
相关文章
相关标签/搜索