Pytorch系列之——损失函数、优化器

权值初始化 前面我们介绍了如何搭建网络模型，在模型搭建好之后一个非常重要的步骤就是对模型当中的权值进行初始化。正确的权值初始化可以加快模型的收敛，而不恰当的权值初始化可能会引发梯度的消失或爆炸，最终导致模型无法训练。 梯度消失与爆炸 Xavier方法与Kaiming方法 常用初始化方法 梯度消失与爆炸 首先观察模型是怎么对W2进行求导的，我们有： H 2 = H 1 ∗ W 2 H_{2} = H

>>阅读原文<<