Adam：一种随机优化算法

算法理解： Adam = Momentum（动量） + RMSProp（自适应） + bias correction（偏差修正） Momentum：历史梯度的指数衰减平均 RMSProp：历史梯度平方的指数衰减平均 偏差修正：解决加权平均计算中的冷启动问题，即加权平均值的前几个与实际值相差太远。 一阶矩估计和二阶矩估计分别代表原来的动量和自适应部分。模型的梯度是一个随机变量，一阶矩表示梯度均值，二

>>阅读原文<<