深度网络训练技巧|深度学习（李宏毅）笔记（三）

1. 过拟合和欠拟合 过拟合：训练集效果好，测试集效果不好。 提前停止 正则化 Dropout 欠拟合：训练集与测试集效果都不好。 切换激活函数 自适应学习率 2. 梯度消失问题   问题：随着越来越多的激活函数加到神经网络中，损失函数的梯度趋近于0，使得网络结构很难训练。   举个例子，如下图所示，神经网络使用sigmoid函数作为激活函数，由于sigmoid函数将函数的输入压缩到0和1之间，所

>>阅读原文<<