随机梯度降低及其变种的综述

  随机梯度算法做为重要的一阶优化算法，每次采用小部分样本进行梯度的更新，迭代速度比较快。在随机梯度算法的基础上，为了选择合适的学习率，出现动量法与自适应学习率算法。为了更好的学习稀疏特征，随机梯度降低算法融合RDA以及FOBOS造成FTRL算法。因为随机梯度降低算法每次采用部分样本进行梯度计算，引入较大的方差，所以提出减小方差的随机梯度算法svrg以及sag算法。本文将从随机梯度降低算法开始，并

>>阅读原文<<