梯度下降原理小结

  在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1.梯度   在微积分里，对于多元函数的参数求 ∂ \partial ∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数 f ( x , y ) f(x,y) f(x,y)，分别对 x ,

>>阅读原文<<