《动手学深度学习》第三十一天---小批量随机梯度降低

小批量随机梯度降低：在更新每一参数时都使用一部分样原本进行更新。为了克服上面两种方法的缺点，又同时兼顾两种方法的优势。 小批量随机梯度降低随机均匀采样一个由训练数据样本索引组成的小批量βt。咱们能够经过重复采样（sampling with replacement)或者不重复采样(sampling without replacement)获得一个小批量中的各个样本。可使用下列公式来计算时间步t的小批

>>阅读原文<<