optimizer各种优化器

optimizer 优化算法通常只考虑最小化目标函数。其实，任何最大化问题都可以很容易地转化为最小化问题。 很多优化问题并不存在解析解，而需要使用基于数值方法的优化算法找到近似解，即数值解。 为了求得最小化目标函数的数值解，我们将通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。 深度学习模型的目标函数可能有若干局部最优值。当一个优化问题的数值解在局部最优解附近时，由于目标函数有关解的梯度接

>>阅读原文<<