优化算法知识点整理

几种优化算法，梯度下降的种类 考虑无约束优化问题 minxf(x) m i n x f ( x ) 梯度下降 梯度下降法是一种常用的一阶优化方法，是求解无约束优化问题最简单、最经典的方法之一。 其中，f(x)连续可微。若能构造一个序列 x0,x1,x2,... x 0 , x 1 , x 2 , . . . 满足 f(xt+1)<f(xt),t=0,1,2... f ( x t + 1 ) < f

>>阅读原文<<