常用优化方法总结

本篇博文总结一些常用的优化算法。 梯度下降法 最常见的优化方法是 SGD S G D ，基础的原理不详细讲了，讲下其缺陷。 从泰勒公式的角度来看，梯度下降法将 f(x) f ( x ) 展开到了一阶。 θ=θ−η∗▽θJ(θ) θ = θ − η ∗ ▽ θ J ( θ ) 1. 当学习率太小，到达最优点会很慢。 2. 当学习率太高，可能会跳过最优点，出现震荡的现象。 3. 可能会陷入局部最优。

>>阅读原文<<