随机梯度下降(SGD)和批量梯度下降(BGD)的区别

梯度下降（GD, gradient descent）：梯度下降法是求解无约束最优化问题的一种常用方法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。是一种迭代算法，每一步需要求解目标函数的梯度向量。      在机器学习中，GD主要用于降低模型输出和真实输出之间的损失/误差，迭代模型结构。随机梯度下降是随机取样替代完整的样本，主要作用是提高迭代速度，避免陷入庞大计

>>阅读原文<<