机器学习：神经网络常见的几种梯度降低优化方式

当咱们训练一个神经网络模型的时候，通常来讲会构建一个目标函数，构建一个网络，设置好超参数： 好比学习率，batch size 的大小，迭代次数，weight decay 的比重等等，而后利用 back propagation 开始训练，随着 loss 慢慢减少，收敛到某个最小值，模型训练结束。html 通常目标函数都是非凸函数，这意味着函数的全局最小值很难找到，目前所采用的优化方法，都只能寻找目标

>>阅读原文<<