机器学习------批归一化(Batch Normalization, BN)

  取自孙明的"数字图像处理与分析基础"   从字面意思上理解Batch Normalization就是对每一批数据进行归一化,确实如此,对于训练中某一个batch的数据{ x1 x 1 , x2 x 2 , ……, xn x n },注意这个数据可以是输入也可以是中间某一层的输出,BN的前3步如下:    μ←1m∑i=1mxi μ ← 1 m ∑ i = 1 m x i    σ2=1m∑i=
相关文章
相关标签/搜索