神经网络优化算法：从梯度下降到Adam方法

  转自：https://www.sohu.com/a/149921578_610300   调整模型更新权重和偏差参数的方式时，你是否考虑过哪种优化算法能使模型产生更好且更快的效果？应该用梯度下降，随机梯度下降，还是Adam方法？ 这篇文章介绍了不同优化算法之间的主要区别，以及如何选择最佳的优化方法。   什么是优化算法？ 优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)

>>阅读原文<<