神经网络优化----正则化

过拟合：神经网络模型在训练数据集上的准确率较高，在新的数据进行预测或分类时准确率较低，说明模型的泛化能力差。 正则化：在损失函数中给每个参数w加上权重，引入模型复杂度指标，从而抑制模型噪声，减小过拟合。 使用正则化后，损失函数loss变为两项之和： loss = loss(y与y_) + REGULARIZER * loss(w) 其中，第一项是预测解锁与标准答案之间的差距，如之前讲过的交叉熵、均

>>阅读原文<<