chapter-7-训练神经网络(下)

更好的优化方法 当损失在一些方向敏感，而在其他方向不敏感的话，更新线效率会很低。另一个问题是在鞍点或局部最低点时，会让函数卡住。还有一个问题是SGD的随机性：当处在噪音环境下时，SGD的随机性会是使计算速度大幅下降。 为了改善上述问题，我们引入了动量项： 它是保持一个时间变化的速度，并且将梯度估计添加到这个速度上，然后在这个速度的方向上步进。 在速度上还有一个表示摩擦系数的超参数来对速度进行衰减。

>>阅读原文<<