优化器算法optimizer

文章目录 1.相关背景 1.1.指数加权移动平均(Exponential Weighted Moving Average) 1.1.1.演化与概述 1.1.2.公式理解 1.1.3.EMA 偏差修正 1.1.4.EMA 在 Momentum 优化算法中应用的理解 2.递归下降算法 2.1.BGD MBGD SGD 2.2.Momentum 2.3.Nesterov Accelerated Grad

>>阅读原文<<