Batch Normalization(BN)

w的赋值比较困难,稍一赋值不好,就会使得CNN很脆弱,变得特别发散或特别难;我们就得想办法,看能不能约束一下这个w。 我们希望激励过后的结果是高斯分布的,手动可以进行修改:首先对每一个维度都独立计算经验均值和方差,再进行标准化。 我们也可以想办法让它自动进行修改,而Batch Normalization就可以进行这样的操作。 Batch Normalization通常是在全连接层后(因为全连接层后
相关文章
相关标签/搜索