深度学习基础（三）——优化算法

1 优化算法 1.1 局部最小值点 1.2 鞍点 2 梯度降低法和随机梯度降低法 2.1 梯度降低法 2.1.1 一维梯度降低法 2.1.2 学习率 2.1.3 多维度梯度降低 2.2 随机梯度降低法 2.3 小批量随机梯度降低法 3 动量法 3.1 指数加权平均（EMA） 3.2 由指数加权移动平均理解动量法 3.2 Nesterov 4 Adagrad 5 RMSprop 6 Adadelta

>>阅读原文<<