【Deep Learning 】深度模型中的优化问题（五）AdaGrad（自适应算法1）

本文是Deep Learning 之 最优化方法系列文章的AdaGrad方法（自适应算法1）。主要参考Deep Learning 一书。   以下节选自个人深度学习笔记。 内容整合来源于网络与个人理解。   Adagrad 口 应该为不同的参数设置不同的学习步长。 口 梯度越小，则学习步长越大，反之亦然。 口 想象一下：在缓坡上，可以大步地往下跑；而且陡坡上，只能小步地往下挪   ③ 上面提到的方

>>阅读原文<<