《动手学深度学习》学习日志2

一、过拟合、欠拟合及其解决方案 欠拟合现象： 模型无法达到一个较低的误差 过拟合现象： 训练误差较低但是泛化误差依然较高，二者相差较大 应对欠拟合的方法 • 换更复杂的模型； • 增加模型参数 -应对过拟合的方法： • -增加训练样本 • 权重衰减：通过为模型损失函数添加惩罚项使学出的模型参数值较小 • 丢弃法：设置丢弃率p，则训练的过程中有p的概率的对参数清零，有1-p的概率的对参数进行拉伸；但

>>阅读原文<<