Day3

一、过拟合、欠拟合及其解决方案 1.过拟合 （1）定义：模型的训练误差远小于它在测试数据集上的误差。 （2）解决方案：权重衰减、丢弃法、增加训练数据集 2.欠拟合 （1）定义：模型无法得到较低的训练误差。 （2）解决方案：提高模型复杂度 二、梯度消失、梯度爆炸 深度模型有关数值稳定性的典型问题是消失与爆炸。 1.产生原因：当神经网络层数较多时，模型数值稳定性会变差。 2.解决方法： （1）用ReL

>>阅读原文<<