深度学习系列（七） 优化算法（梯度下降、动量法、AdaGrad算法、RMSProp算法、AdaDelta算法、Adam算法） 2020.6.24

前言 在训练模型时，会使⽤优化算法不断迭代模型参数以降低模型损失函数的值 本节详细学习常用的优化算法 梯度下降 动量法 AdaGrad算法 RMSProp算法 AdaDelta算法 Adam算法 1、优化算法的挑战 优化算法的⽬标函数通常是⼀个基于训练数据集的损失函数 优化的⽬标在于降低训练误差 通常会遇上两个挑战 局部最小值 鞍点 局部最小值 如果f(x)在x上的值⽐在x邻近的其他点的值更小，那

>>阅读原文<<