keras搬砖系列-BN层

keras搬砖系列-BN层 BN层的作用: 1,加速收敛;2,控制过拟合,可以少用Dropout或者不用Dropout;3,降低网络对初始化权重的不敏感;4,允许使用比较大的学习率。 BN层? 批规范化,每次SGD的时候,采用mini-batch的时候对相应的activation做一次规范化,使得结果的均值为0,方差为1,最后的scale and shift 操作则是为了因训练所需刻意加入的BN能
相关文章
相关标签/搜索