梯度下降，随机梯度下降，小批量梯度下降的联系与区别

在深度学习中，因为我们通常的目标是使模型的损失达到最小。而目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向，因此我们常使用梯度下降系列的优化算法来迭代参数，减小损失。 下面介绍一下梯度下降，随机梯度下降，以及小批量梯度下降之间的联系与区别。 梯度下降：直接加载所有的样本进行训练，取每个样本对应特征的梯度的累积和，再除以样本个数。作为该次循环整个样本对应特征的迭代梯度。 随机梯度

>>阅读原文<<