深入浅出--梯度下降法及其实现

一、梯度法思想 梯度法思想的三要素：出发点、下降方向、下降步长。 机器学习中常用的权重更新表达式为 ：，这里的λ就是学习率，本文从这个式子出发来把机器学习中的各种“梯度”下降法阐释清楚。 机器学习目标函数，一般都是凸函数，什么叫凸函数？限于篇幅，我们不做很深的展开，在这儿我们做一个形象的比喻，凸函数求解问题，可以把目标损失函数想象成一口锅，来找到这个锅的锅底。非常直观的想法就是，我们沿着初始某个点

>>阅读原文<<