梯度下降法中，为什么在负梯度方向函数值下降最快

以下内容整理于高数课本以及李宏毅老师的视频： 我们想要利用梯度下降来求得损失函数的最小值。也就是每次我们更新参数，当前的损失函数总比上一次要小。 假设只有两个参数θ1和θ2，上图是损失函数的等值线，红色点是初始值当前的状态。以红色点为圆心画圆，在这个圆的范围内，我们想要找到一个损失函数更小的值。如下图： 这样我们就更新了一次参数，损失函数值变小了。再进行相同的操作，以当前点为圆心，画圆，再找一个圆

>>阅读原文<<