2.2.7 局部最优化问题

局部最优化问题 如图左侧所示，似乎存在很多局部最优解。某个算法可能会困在局部最优解里，而不能达到全局最优解。如果通过画图的情况，比如说这种两纬度的情况，就很容易出现许多局部最优解。然而，通过这样的低纬来理解高维是不正确的。 事实上如果你要创建一个神经网络，通常梯度为0的点并不是图中局部最优点，而是右图中的鞍点（saddle points），在高维情况，我们通常碰到的是鞍点而不是局部最优点。 对于深

>>阅读原文<<