优化方法入门

Ref： https://blog.csdn.net/weixin_42398658/article/details/84502215 http://www.javashuo.com/article/p-zyjtscqq-hy.html SGD ： 参数=旧参数 - 学习率*梯度  （1）改变梯度：动量SGD： （2）改变学习率：AdaGrad -->引入衰减因子--> RMSProp （3）改变

>>阅读原文<<