理解梯度下降法(Gradient Descent)

最近看了CMU的凸优化，里面对梯度下降的原理讲的比较清楚，这里将自己对梯度下降的理解做一个总结，如果有不对的地方希望大家指正。 1.梯度下降法 考虑无约束的最小化问题： minxf(x)(1) 优化目标 f(x) 是可微的凸函数。 使用梯度下降法求解上述问题的最优解 x∗ ，迭代过程为： xk=xk−1−α⋅∇f(xk−1)(2) 为什么使用上述迭代可以从下面的角度考虑。 2.解释1 将 f(x)

>>阅读原文<<