机器学习/深度学习入门：优化器原理与比较

梯度下降法(Gradient Descent) 梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD, Gradient Descent)，随机梯度下降法(SGD, Stochastic Gradient Descent)及批量梯度下降法(BGD, Batch Gradient Descent)。 1. 标准梯度下降法(GD) 假设要学习训练的模型参数为W，代价函数为J

>>阅读原文<<