专题（一）优化算法

专题（一）优化算法 1.梯度下降 1.1 随机梯度下降 1.2 小批量随机梯度下降 1.2.1 小批量 SGD 的更新过程 1.2.2 “批”的大小对优化效果的影响 1.2.3 随机梯度下降存在的问题 1.2.4 随机梯度下降的改进方向 2. 动量（Momentum）算法 2.1 带动量的 SGD 2.1.1 参数更新公式 2.1.2 动量算法描述 2.2 NAG 算法（Nesterov 动量）

>>阅读原文<<