梯度下降法解读

梯度下降法,是当今最流行的优化(optimization)算法,亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识,以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体,然后会简要地总结在训练(神经网络或是机器学习算法)的过程中可能遇到的挑战。 目录: 梯度下降的各种变体 批量梯度下降(Batch gradient descent) 随机梯度下降(Sto
相关文章
相关标签/搜索