7.1 优化器的定义、基本属性和基本方法

      上节课讲了损失函数，损失函数是衡量模型的输出与真实标签之间的差异。有了这个差异之后，怎么使用这个loss更新模型中的参数，使得我们的loss逐步降低呢？这就是优化器的工作。     1. 什么是优化器   更新的策略，通常采用梯度下降。   导数： 方向导数： 梯度：       2. optimizer的基本属性（4个）   defaults:优化器的超参数，主要存储一些学习率、mo

>>阅读原文<<