【Deep Learning 】深度模型中的优化问题（四）之如何逃离(跳出)鞍点（Saddle Points）

局部最优和鞍点   造成神经网络难以优化的一个重要（乃至主要）原因不是高维优化问题中有很多局部极值，而是存在大量鞍点。   吴恩达视频中讲的，虽然没有理论的证明，局部最小值就是全局最小值，但是很多实际的经验告诉我们，最后，只能收敛到一个最小值，也就是说，很多现实实际问题是只有一个最小值的。但这个最小值通常是鞍点。 认识鞍点的历史   BP算法自八十年代发明以来，一直是神经网络优化的最基本的方法。神

>>阅读原文<<