小常识3-深度学习常见梯度下降优化方法总结

1. 三种梯度下降优化框架 有三种梯度下降算法框架，它们不同之处在于每次学习(更新模型参数)使用的样本个数，每次更新使用不同的样本会导致每次学习的准确性和学习时间不同。 全量梯度下降(Batch gradient descent)：每次使用全量的训练集样本来更新模型参数； 随机梯度下降(Stochastic gradient descent)：每次从训练集中随机选择一个样本来进行学习 小批量梯度下

>>阅读原文<<