局部最优与鞍点问题

一、什么是局部最优与鞍点 初学深度学习，总是担心优化算法会困在极差的局部最优。本文介绍如何正确看待局部最优以及深度学习中的优化问题。 如上图，平面的高度就是损失函数。在图中似乎各处都分布着局部最优。梯度下降法或者某个算法可能困在一个局部最优中，而不会抵达全局最优。但是，问题的关键在于，低维特征（图示两维）让我们对局部最优产生误解。 事实上，如果你要创建一个神经网络，通常梯度为零的点并不是这个图中的

>>阅读原文<<