pytorch学习笔记（三十三）：梯度降低和随机梯度降低

文章目录 前言 1. 一维梯度降低 2. 学习率 3. 多维梯度降低 4. 随机梯度降低 小结 前言 在本节中，咱们将介绍梯度降低（gradient descent）的工做原理。虽然梯度降低在深度学习中不多被直接使用，但理解梯度的意义以及沿着梯度反方向更新自变量可能下降目标函数值的缘由是学习后续优化算法的基础。随后，咱们将引出随机梯度降低（stochastic gradient descent）。

>>阅读原文<<