pytorch学习笔记(三十四):MiniBatch-SGD

文章目录 小批量随机梯度降低 1. 读取数据 2. 从零开始实现 3. 简洁实现 小结 小批量随机梯度降低 在每一次迭代中,梯度降低使用整个训练数据集来计算梯度,所以它有时也被称为批量梯度降低(batch gradient descent)。而随机梯度降低在每次迭代中只随机采样一个样原本计算梯度。正如咱们在前几章中所看到的,咱们还能够在每轮迭代中随机均匀采样多个样原本组成一个小批量,而后使用这个小
相关文章
相关标签/搜索