Optimization和adptive learning rate的介绍（李宏毅ML课程笔记）

Adptive Learning Rates 能够在update参数的同时，根据已知的信息更新learning rate，使得learning rate大小随着迭代次数的增加适应cost曲线的变化。 对adptive learning rate的要求： 能够在接近optimal的附近时，让desent的步伐越来越小，由此达到最优值 能够对不同的参数给出不一样的learning rate 能够降低s

>>阅读原文<<