梯度下降（Gradient Descent）（一）

  梯度下降法（gradient descent）或最速下降法（steepest descent）是求解无约束优化问题的一种最常用的方法，实现简单，属于一阶优化算法，也是迭代算法。 1.梯度   在微积分中，对多元函数的参数求偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数 f(x,y) f ( x , y ) ，分别对 x,y x , y 求偏导数，求得的梯度向量就是 (∂

>>阅读原文<<