（二）梯度下降(Gradient Descent)

梯度下降(Gradient Descent)   在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里先总结梯度下降。 1. 梯度   在微积分里面，对多元函数的参数求 ∂ ∂ 偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数 f(x,y) f ( x , y ) , 分别对 x

>>阅读原文<<