DeepLearning.ai笔记:(2-2)-- 优化算法(Optimization algorithms)

首发于个人博客:fangzh.top,欢迎来访 这周学习了优化算法,可以让神经网络运行的更快。 主要有: mini-batch 动量梯度下降(momentum) RMSprop Adam优化算法 学习率衰减 mini-batch(小批量) 原本的梯度下降算法,在每一次的迭代中,要把所有的数据都进行计算再取平均,那如果你的数据量特别大的话,每进行一次迭代就会耗费大量的时间。 所以就有了mini-ba
相关文章
相关标签/搜索