经常使用优化方法总结

本篇博文总结一些经常使用的优化算法。web 梯度降低法 最多见的优化方法是 SGD S G D ，基础的原理不详细讲了，讲下其缺陷。 从泰勒公式的角度来看，梯度降低法将 f(x) f ( x ) 展开到了一阶。 算法 θ=θ−η∗▽θJ(θ) θ = θ − η ∗ ▽ θ J ( θ ) 1. 当学习率过小，到达最优势会很慢。 2. 当学习率过高，可能会跳过最优势，出现震荡的现象。 3. 可能会

>>阅读原文<<