几种优化算法的比较（BGD、SGD、Adam、RMSPROP）

前言 这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。 Batch gradient descent 梯度更新规则: BGD 采用整个训练集的数据来计算 cost function 对参数的梯度：   缺点: 由于这种方法是在一次更新中，就对整个数据集计算梯度，所以计算起来非常慢，遇到很

>>阅读原文<<