15天共读深度学习Day9

1.参数的更新 神经网络学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化。 除了SGD（stochastic gradient descent 随机梯度下降法）还有其他优化方法。 虽然SGD简单，并且容易实现，但是在解决某些问题时可能没有效率。SGD低效的根本原因是，梯度的方向没有指向最小值的方向。为了改正SGD的缺点，我们将用Momentum A

>>阅读原文<<