DeepLearning与Local minima

Yoshua Bengio研究组通过实验发现，在训练高维（参数）神经网络时，几乎不会遇到局部极小点（这与我们以往的直觉相背），但会存在鞍点，而这些鞍点只在某些维度上是局部极小的。鞍点会显著减缓神经网络的训练速度，直到在训练过程中找到正确的逃离方向。从下图可以明显看出这种现象，每当到达一个鞍点，都会“震荡”多次最终逃逸。 Bengio提供了一个浅显易懂的解释：我们假设在某个维度上，一个点是局部极小点

>>阅读原文<<