深刻了解机器学习之下降损失 (Reducing Loss)：随机梯度降低法

在梯度降低法中，批量指的是用于在单次迭代中计算梯度的样本总数。到目前为止，咱们一直假定批量是指整个数据集。就 Google 的规模而言，数据集一般包含数十亿甚至数千亿个样本。此外，Google 数据集一般包含海量特征。所以，一个批量可能至关巨大。若是是超大批量，则单次迭代就可能要花费很长时间进行计算。web 包含随机抽样样本的大型数据集可能包含冗余数据。实际上，批量大小越大，出现冗余的可能性就越高

>>阅读原文<<