【深度学习】Weight Normalization: 一种简单的加速深度网络训练的重参数方法

前言：为何要Normalization 深度学习是一种在给定数据的状况下，学习求解目标函数最小化或者最大化的模型。在深度网络中，模型参数每每包含了大量的weights和biases。在求解优化模型的时候，一般是利用一阶梯度的求解来更新网络的权重。html 众所周知，优化深度网络时须要经过计算一阶梯度，而目标函数的曲率会极大的影响优化的难易度。若是目标函数的Hessian矩阵的条件数过低，将会表现出

>>阅读原文<<