梯度下降法和最速下降法区别

1. 前言： 细微之处，彰显本质；不求甚解，难以理解。 一直以来，我都认为，梯度下降法就是最速下降法，反之亦然，老师是这么叫的，百度百科上是这么写的,wiki百科也是这么说的，这么说，必然会导致大家认为，梯度的反方向就是下降最快的方向，然而最近在读Stephen Boyd 的凸优化的书，才发现事实并非如此，梯度下降和最速下降并不相同，梯度方向也不一定总是下降最快的方向。 2. 梯度下降法 梯度下降

>>阅读原文<<