神经网络优化的步骤以及常用的神经网络优化器

优化神经网络相关的参数： w表示待优化参数，loss表示损失函数，lr表示学习率，batch表示每次迭代的数据，t表示当前batch迭代的总次数： 神经网络参数优化的步骤： 一阶动量：与梯度相关的函数 二阶动量：与梯度平方相关的函数 常用的优化器： （1）SDG（Stochastic gradient descent）：随机梯度下降 没有动量 (2）SGDM（含momentum的Stochasti

>>阅读原文<<