Tensorflow 优化器 optimizer

Tensorflow 的可用 optimizer 从下面的图片可以看出tensorflow提供的几种优化器。 下图是不同优化算法的损失曲面和时间演化的轮廓。 从上图看 SGD 并不是最快速的训练方法, 红色的线是 SGD, 但它到达学习目标的时间是在这些方法中最长的一种. 我们还有很多其他的途径来加速训练. 下图优化可视化，其中沿着不同维度的曲率具有不同的符号（一维向上和向下弯曲）。 请注意，SG

>>阅读原文<<