【2017CS231n】第七讲:训练神经网络(下)

先回顾一下第六讲:     数据预处理。     当我们对数据进行归一化红,分类器对权重矩阵的扰动不是特别敏感,鲁棒性更好。左边的分类器稍微变动一点就会破坏分类效果。     右边的数据移到原点附近,并缩小单位方差,仍然可以进行良好的分类。当我们稍微转动分类的直线,损失函数对参数中的变动就不那么敏感,从而让优化变得容易。 1. 更好的优化 1.1 随机梯度下降法 训练神经网络的核心策略是一个优化问
相关文章
相关标签/搜索