深度学习——整理

1、什么是随机梯度下降？ 梯度下降有三种：stochastic  gradient descent（SGD）、普通的GD以及min-batch GD。 其中caffe里最常用的就是min-batch GD，即每次从训练样本中选取min-batch个样本进行迭代，而普通的GD则是对所有的训练样本计算梯度，而SGD是对训练样本中的某一个样本计算梯度，更新权值。 其实这三种梯度下降的本质是一样的，都是使

>>阅读原文<<