Tensorflow2.1基础知识---神经网络参数优化器

什么是优化器？ 优化器，就是神经网络进行反向传播的时候，用于更新参数的策略，也就是梯度下降的算法。 优化器更新参数的步骤（4步）： a. 计算t时刻损失函数关于当前参数的梯度：g_t= ∆loss= ∂loss/(∂(w_t)) b. 计算t时刻一阶动量m_t 和二阶动量V_t （一阶动量：与梯度相关的函数 二阶动量：与梯度平方相关的函数） c. 计算t时刻下降梯度：μ_t=lr∗ m_t⁄√(V

>>阅读原文<<