Pytorch框架学习（9）——权值初始化

文章目录 1. 梯度消失与梯度爆炸 2. Xavier方法与Kaiming方法 2.1 Xavier初始化 2.2 Kaiming初始化 3. 常用初始化方法 1. 梯度消失与梯度爆炸 不恰当的权值初始化可能会引起梯度消失或者梯度爆炸。 我们从一个例子中来理解梯度消失与梯度爆炸。，下图给出一个两层网络，我们来计算一下 W 2 W_2 W2​的梯度。 从计算过程中可以看到，当 H 1 H_1 H1​

>>阅读原文<<