凸优化学习笔记 21：加速近似梯度下降方法

我们证明了梯度方法最快的收敛速度只能是 O ( 1 / k 2 ) O(1/k^2) O(1/k2)（没有强凸假设的话），但是前面的方法最多只能达到 O ( 1 / k ) O(1/k) O(1/k) 的收敛速度，那么有没有方法能达到这一极限呢？有！这一节要讲的**加速近似梯度方法(APG)**就是。这个方法的构造非常的巧妙，证明过程中会发现每一项都恰到好处的抵消了！真不知道作者是怎么想出来这么巧

>>阅读原文<<