神经网络优化算法：指数加权平均、动量梯度下降法、RMSprop、Adam优化算法

本博客暂时只做自己的学习笔记，所以部分细节并不会展开，如果有看官对这部分内容感兴趣，还请移步去看吴恩达的教学视频，这里奉上链接：改善深层神经网络    一、 首先介绍指数加权平均方法，对于一系列输入数据,该方法实际上是通过对当前数据和前若干个数据进行加权平均得到一系列新的较为平滑的数据，计算方法如下： 得到如下图所示     其中蓝色的点是输入数据，红色点是加权平均后的数据。不过在实际计算过程中，

>>阅读原文<<