2.2.5 Adam优化算法

Adam优化算法 Adam算法的全称是Adaptive Moment Estimation Adam算法基本上是momentum算法和RMSprop算法的结合。我们下面介绍一下这个算法 算法如图所示，注意图中 Vcorrecteddw V d w c o r r e c t e d 表示的是偏差修正。 这个算法中有许多的超参数，那么该如何选择超参数呢？ 如图所示，学习率是我们需要调整的参数。 β1

>>阅读原文<<