梯度降低法小结

1. 前言 今天咱们聊一聊机器学习和深度学习里面都相当重要的一个环节，优化损失函数。咱们知道一个模型只有损失函数收敛到了必定的值，才有可能会有好的结果，下降损失方式的工做就是优化方法须要作的事。下面会讨论一些经常使用的优化方法：梯度降低法家族、牛顿法、拟牛顿法、共轭梯度法、Momentum、Nesterov Momentum、Adagrad、RMSprop、Adam等。html 优化过程的示意图以

>>阅读原文<<