快速梯度下降法-SAGA

SGD 对于目标函数: 目标函数优化步骤: 1.随机旋转索引j,即函数 fj(x) ; 2.更新参数x,采用sgd公式为: SAGA(STOCHASTIC VARIANCE REDUCTION METHODS) 目标函数优化步骤: 1.随机旋转索引j,即函数 fj(x) ; 2.对于上述目标函数,采用SAGA参数更新公式为: ϕk+1j=xk . SAGA代码:https://github.com

>>阅读原文<<