004-3-Optimizer优化器

  如何选择优化算法 如果数据是稀疏的，就用自适用方法，即 Adagrad, Adadelta, RMSprop, Adam。 RMSprop, Adadelta, Adam 在很多情况下的效果是相似的。 Adam 就是在 RMSprop 的基础上加了 bias-correction 和 momentum， 随着梯度变的稀疏，Adam 比 RMSprop 效果会好。 整体来讲，Adam 是最好的选

>>阅读原文<<