深度学习入门基于python的的理论与实现(学习笔记).第六章 与学习相关的技巧(第三部分)

6.3 Batch Normalization 在权重的初始化中,我们观察了各层的激活值分布,并从中了解到如果设定了合适的权重初始值,则各层的激活值分布会有合适的广度,从而可以顺利地进行学习。那么为了使各层拥有适当的广度,“强制性”地调整激活值的分布会怎样呢?Batch Normalization就是基于这个方法而产生的。 Batch Normalization(简称Batch Norm)是201
相关文章
相关标签/搜索