深度学习之Batch Normalization

BN(Batch Normalization),顾名思义也就是“批规范化“。目前很多深度学习网络中都会加入BN层,那么它为何这么有效呢? 1、BN是什么? 与激活层、卷积层、池化层一样,BN也属于神经网络的一层。在每次SGD时,通过mini-batch来对相应的activation做规范化操作,使得结果(输出信号各个维度)的均值为0,方差为1(cnn中BN一般加在卷积层与激活层之间)。但是原本数据
相关文章
相关标签/搜索