机器学习（优化算法一）——梯度下降

对于机器学习，经常提及的就是批量梯度下降、随机梯度下降，以及两者结合的小批量梯度下降。在深度学习中，常用的还有梯度下降的一些变种，像Adam、AdaGrad……这里只说最基本的三种。 简要过程 像普通线性回归、Ridge回归，通过求导，也就是最小二乘法就可以求解，但Lasso不可以，Lasso通常采用的是坐标轴下降法。除了最小二乘法，还有另外一种方法，也是最常用的：梯度下降法。 比如有一个函数 y

>>阅读原文<<