5.4 权值初始化

    前面学习了如何搭建网络模型。在模型搭建好之后，一个很重要的步骤就是对模型进行初始化。   正确的取值初始化可以加快模型的收敛，不恰当的模型初始化可能引发梯度的消失或爆炸，最终导致模型无法训练。   一、模型初始化不恰当可能引起梯度消失或爆炸   我们使用右边的模型：   观察w2的梯度是怎么来的。 求w2的梯度时，需要用到H1。如果H1的值非常小，那么w2的梯度也会很小，从而导致梯度消失；

>>阅读原文<<