关于局部最优(Local Optima)

时间 2020-12-30

原文原文链接

①在高维空间中，如2000维，不太可能出现局部最优的情况，因为局部最优要求这20000个维度的梯度都为0，这是很小概率的时间。 ②真正困扰优化问题的并不是局部最优，而是在鞍点附近的停滞区问题。如下图，鞍点并不是全局最优，但梯度下降会在鞍点附近花费很多时间，先降到鞍点，在鞍点附近受到扰动在降到其他地方。故采用动量，adam，RMSprop等方法来加快停滞区的训练

>>阅读原文<<

1. 关于局部最优
2. 局部类（local class）
3. http2-stream-optima-prioritation
4. 局部特征（Local Feature）
5. Coursera | Andrew Ng (02-week-2-2.10)—局部最优的问题
6. 关于PDF局部打印
7. 关于Local System/Local Service/Network Service帐户
8. 算法 - 局部最优的避免
9. 徘徊：逃离局部最优点
10. 局部最优与鞍点问题
更多相关文章...
• ionic 头部与底部 - ionic 教程
• ionic 头部和底部 - ionic 教程
• NewSQL-TiDB相关
• 算法总结-广度优先算法