CS231n学习记录Lec8 Training训练神经网络(下)

Lec8 训练神经网络(下) 主要内容:更好的优化,优化方法介绍 1. Fancier Optimization problems with SGD 陷入局部最小(local minima)和鞍点(saddle points)。 随机性,容易受噪声影响 SGD + Momentum(动量) 保持一个不随时间变化(?)的速度,把梯度估计添加到速度上,在速度方向上前 进而不是在梯度方向上前进。同时利用
相关文章
相关标签/搜索