动手学深度学习task3

过拟合、欠拟合及其解决方案 欠拟合解决方案： 添加其它的特征项 添加多项式特征 减少正则化参数 过拟合解决方案： 增加训练样本 权值衰减 dropout 梯度消失、梯度爆炸 梯度爆炸 如果在连续乘法中出现一个非常大的值，计算出一个很大的梯度值，如果以这个梯度值进行更新，那么这次迭代的步长就很大，可能会一下子飞出了合理的区域。 可以通过梯度裁剪的方法解决。 梯度消失 如果连续乘法中出现一个较小的值，

>>阅读原文<<