你的模型真的陷入局部最优点了吗？

小夕曾经收到过一个提问：“小夕，我的模型总是在前几次迭代后很快收敛了，陷入到了一个局部最优点，怎么也跳不出来，怎么办？”   本文不是单纯对这个问题的回答，不是罗列工程tricks，而是希望从理论层面上对产生类似疑问的人有所启发。 真的结束于最优点吗？   我们知道，在局部最优点附近，各个维度的导数都接近0，而我们训练模型最常用的梯度下降法又是基于导数与步长的乘积去更新模型参数的，因此一旦陷入了局

>>阅读原文<<