深度学习之优化算法

前言           以下内容是个人学习之后的感悟，转载请注明出处~     Mini-batch梯度下降法 　　见另一篇文章：梯度下降法。   指数加权平均 　　其原理如下图所示，以每天的温度为例，每天的温度加权平均值等于β乘以前一天的温度加权平均值，再加上（1-β）乘以 当天温度的和。β值得选取对温度加权平均值的影响非常明显，图中的红黄绿三条曲线即β取不同值时的曲线。           

>>阅读原文<<