【零基础】神经网络优化之Adam

一、序言 　　Adam是神经网络优化的另一种方法，有点类似上一篇中的“动量梯度下降”，实际上是先提出了RMSprop（类似动量梯度下降的优化算法），而后结合RMSprop和动量梯度下降整出了Adam，所以这里我们先由动量梯度下降引申出RMSprop，最后再介绍Adam。不过，由于RMSprop、Adam什么的，真的太难理解了，我就只说实现不说原理了。 二、RMSprop 　　先回顾一下动量梯度下降

>>阅读原文<<