优化器（一）

优化器（一） 先由损失函数模块得出模型输出和标签之间的差异的loss值 再利用AutoGrad自动求导模块求到模型中学习参数（权值、偏置）的梯度 最后优化器拿到这个梯度，采取一系列策略，更新模型的学习参数，使得Loss值下降 很多人对方向导数有困惑，特别和梯度一起讲，就懵b了 方向导数不还是导数嘛，指的还是变化率 在一维空间，方向导数就是导数，在二维空间，方向导数就是二维向量，在三维空间，方向导数

>>阅读原文<<