深度学习优化入门：Momentum、RMSProp 和 Adam

虽然局部极小值和鞍点会阻碍咱们的训练，但病态曲率会减慢训练的速度，以致于从事机器学习的人可能会认为搜索已经收敛到一个次优的极小值。让咱们深刻了解什么是病态曲率。

病态曲率

考虑如下损失曲线图。

 

如你所知，咱们在进入一个以蓝色为标志的像沟同样的区域以前是随机的。这些颜色实际上表明了在特定点上的损失函数的值，红色表明最高的值，蓝色表明最低的值。

咱们想要降低到最低点，所以，须要穿过峡谷。这个区域就是所谓的病态曲率。为了了解为什么将其称为病态曲率，让咱们再深刻研究。放大了看，病态曲率就像这样...

 

病态曲率

要知道这里发生的事情并不难。梯度降低沿着峡谷的山脊反弹，向最小的方向移动的速度很是慢。这是由于山脊的曲线在 W1 方向上弯曲的更陡。

考虑山脊表面的 A 点。咱们看到，梯度在这点能够分解为两个份量，一个沿着 W1 方向，另一个沿着 W2 方向。若是 f 显著降低的惟一方向是低曲率的，那么优化可能会变得太慢而不切实际，甚至看起来彻底中止，形成局部最小值的假象。