PyTorch —— 神经网络权重初始化

权重初始化 神经网络从错误中学习，但是错误要能够被定位到。如果不能定位到错误那么就无法改正。 对于神经网络中的参数来说，如果所有参数全部一样（比如初始化为全0），那么就面临一个问题：梯度往哪里下降是最快呢？？ 看一个例子 神经网络很难判断哪些权重需要更改，因为每个层级的神经元输出是一样的。为了避免神经元具有相同的输出，我们使用独特权重。我们还可以随机选择权重，避免每个周期后的损失都陷于局部最低点。

>>阅读原文<<