cs231n-Lecture6

CS231N–神经网络训练（下） 一、精细优化 1. SGD的优化问题 (1) 不同维度梯度问题 比如在趋近最优解的维度，梯度下降的慢，而在垂直方式梯度下降的快，梯度下降的和方向在偏离正确方向太远，这样优化过程中逼近最优解速度慢，这也是SGD速度最慢的原因 (2) 极值点问题 当遇到局部最小值点及鞍点时，SGD会陷入局部最优；由于数据维度较大，很难存在局部最小值点的情况，鞍点的存在可能性更大 个人

>>阅读原文<<