机器学习（优化算法一）——梯度降低

对于机器学习，常常说起的就是批量梯度降低、随机梯度降低，以及二者结合的小批量梯度降低。在深度学习中，经常使用的还有梯度降低的一些变种，像Adam、AdaGrad……这里只说最基本的三种。html 简要过程 像普通线性回归、Ridge回归，经过求导，也就是最小二乘法就能够求解，但Lasso不能够，Lasso一般采用的是坐标轴降低法。除了最小二乘法，还有另一种方法，也是最经常使用的：梯度降低法。 好比

>>阅读原文<<