神经网络模型的各类优化算法

1.批量梯度降低算法(Batch Gradient Descent) 思想：基于整个训练集的损失迭代更新梯度。python 优势：git      1. 因为梯度更新考虑的是全局的损失，因此不会陷入局部最优；github 缺点：算法      1. 因为计算的是整个训练集的损失，因此每次迭代的计算量较大，占用内存大；segmentfault 公式理解：网络 更新参数向使得损失减少的方向变化。函数

>>阅读原文<<