2.7 Adam

这一篇写得特别详细： 深度学习优化算法解析(Momentum, RMSProp, Adam) Adam（Adaptive Moment Estimation） 初始化： vdW=0,vdb=0,SdW=0,Sdb=0 v d W = 0 , v d b = 0 , S d W = 0 , S d b = 0 On iteration t: compute dW,db d W , d b using

>>阅读原文<<