深度学习---炼丹trick之Normalization(BN/LN/WN/CN)

参考文献:详解深度学习中的Normalization,BN/LN/WN https://zhuanlan.zhihu.com/p/33173246 3主流 Normalization 方法梳理 在上一节中,我们提炼了 Normalization 的通用公式: 对照于这一公式,我们来梳理主流的四种规范化方法。 3.1 Batch Normalization —— 纵向规范化 3.2 Layer No
相关文章
相关标签/搜索