[机器学习必知必会]梯度下降法

前言 梯度下降法（gradient descent）是求解无约束最优化问题的一种最常用的方法，它是一种迭代算法，每一步需要求解目标函数的梯度向量。 问题抽象 是上具有一阶连续偏导数的函数，要求解的无约束问题是:， 其中表示目标函数的极小值点 关键概念 迭代：选取适当初始值，不断迭代更新的 值，直至收敛 梯度下降：负梯度方向是使函数值下降最快的方向，我们在迭代的每一步都以负梯度方向更新的值 收敛：给

>>阅读原文<<