BN——Batch Norm原理Batch Normalization,Accelerating Deep Network Training

参考论文 “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift“   1, 深度网络训练在实际中是复杂的, 在训练期间,随着前面层参数的变化,每一层输入分布也会随之发生变化(不是真实的输入分布)。——>内部协方差偏移 这使得训练会变得更慢,所以需要更低的学习率和更精
相关文章
相关标签/搜索