（转）梯度下降法及其Python实现

（转）梯度下降法及其Python实现 梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。 梯度下降法特点：越接近目标值，步长越小，下降速度越慢。 直观上来看如

>>阅读原文<<