深度学习基础（三）——优化算法

1 优化算法 1.1 局部最小值点 1.2 鞍点 2 梯度下降法和随机梯度下降法 2.1 梯度下降法 2.1.1 一维梯度下降法 2.1.2 学习率 2.1.3 多维度梯度下降 2.2 随机梯度下降法 2.3 小批量随机梯度下降法 3 动量法 3.1 指数加权平均（EMA） 3.2 由指数加权移动平均理解动量法 3.2 Nesterov 4 Adagrad 5 RMSprop 6 Adadelta

>>阅读原文<<