用一个表格分析对比深度学习中所有的优化器

之前对各个优化器理解的不是特别清晰，最近通过分析，列出一个表格来对比他们之间的异同点。如下：   不同优化器的可视化比较（一图胜千言）： 1. 不同优化器的优化速度比较。SGD最慢，Adadelta最快，动量法会走一些弯路。    2. 遇到鞍点时不同优化器的反应。SGD会被困于鞍点，动量法会在鞍点耽误较长时间。Adadelta脱离速度最快，优化也最快。Rmsprop次之。     注：后面的动画

>>阅读原文<<