优化算法

min-batch梯度下降法: 把训练集分成小一点的子集,取名为min-batch。 指数加权平均: 当β为0.98时,大约得到的温度为之前五十天的平均温度。 指数加权平均的偏差修正,因为初始有可能太小了 动量梯度下降算法: 减少纵向的波动,平稳靠近最小值的点。 RMSprop算法: 增加横轴的变化速度,所以除一个小的数,减小纵轴的变化所以除一个大的数。 Adam算法(实际上就是将上述两个算法结合
相关文章
相关标签/搜索