CNN笔记(CS231N)——训练神经网络II(Training Neural Networks, Part 2)

训练神经网络 我们接着上一讲继续,这一讲主要讲的是优化、正则化与迁移学习 高级优化 我们首先来看看传统的随机梯度优化有什么问题,如果损失函数在一个维度上梯度比较小,在另一个维度上梯度比较大,那么这种情况下就会出现沿着梯度小的维度变化缓慢,另一个方向变化迅速,出现如下图这种震荡现象导致收敛缓慢 除此以外就是局部最小值与驻点的问题,局部最小值在多维特征的情况下出现的几率比较小,最常见的是驻点问题,这种
相关文章
相关标签/搜索