老吴--第二阶段第二周--优化算法

mini-batch 指数加权平均：取每天的温度 前一天的权重越大，曲线越往右移 当天的温度是前几天的权重衰减加和 指数加权平均的偏差修正 动量梯度下降方法比一般梯度下降方法都快 计算梯度的加权指数平均，并利用该梯度更新权重 加快学习曲线的横向速度，减小纵向变化范围 RMsprop

>>阅读原文<<