梯度优化算法总结以及solver中相关参数解释

参考链接：http://sebastianruder.com/optimizing-gradient-descent/ 如果熟悉英文的话，强烈推荐阅读原文，毕竟翻译过程中因为个人理解有限，可能会有谬误，还望读者能不吝指出。另外，由于原文太长，分了两部分翻译，本篇主要是梯度下降优化算法的总结，下篇将会是随机梯度的并行和分布式，以及优化策略的总结。 梯度下降是优化中最流行的算法之一，也是目前用于优化神

>>阅读原文<<