数值稳定性和模型初始化

《动手学深度学习pytorch》部分学习笔记，仅用作自己复习。 数值稳定性和模型初始化 深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion） 衰减和爆炸 随机初始化模型参数 如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输⼊计算出相同的值，并传递至输出层。在反向传播中，每个隐藏单元的参数梯度值相等。因此，这些参数在使用基于梯

>>阅读原文<<