深度学习里面的而优化函数

https://mp.weixin.qq.com/s/xm4MuZm-6nKTn2eE3eNOlg （一）一个框架看懂优化算法 “ 说到优化算法，入门级必从 SGD 学起，老司机则会告诉你更好的还有AdaGrad / AdaDelta，或者直接无脑用 Adam。可是看看学术界的最新 paper，却发现一众大神还在用着入门级的 SGD，最多加个 Momentum 或者 Nesterov，还经常会黑一

>>阅读原文<<