优化算法-吴恩达学习笔记

1 Mini-batch梯度下降 2 指数加权平均       当较大时，相当于平均较多天数的数据，故会平坦一点，当然了由于平均了前些天的数据，只考虑了的当日数据，故会有延迟。相当于平均天的数据。 从左侧图可以看出，几乎考虑了之前所有天的数据，但是距离今天越远的数据所占权重越小，例如当时，，10之前的数据占比很小，故相当于考虑了最近10天数据的加权平均。 偏差的修正，我们发现刚开始的几天，指数加权

>>阅读原文<<