随机梯度算法(SGDOptimizer)

随机梯度算法(SGDOptimizer) 随机梯度算法是神经网络中最常见的一种优化算法。主要是依据的梯度下降原理 设置要预测的函数为： 损失函数为： 则要使损失函数最小，我们可以使损失函数按照它下降速度最快的地方减小，因此需要在此列出损失函数的求导公式： 同时由于选用这种方法，可能会陷入局部最小值的问题，同时收敛的速度可能较慢 所以选用SGD，每次更新的时候使用一个样本进行梯度下降，所谓的随机二字

>>阅读原文<<