深度学习笔记——深度学习技巧

1、模型在训练数据上表现不好，why？ （1）过拟合 （2）激活函数 （3）学习率 2、梯度消失？    盲目增加网络层数很容易导致发生梯度消失现象，尤其是使用sigmoid作为激活函数的时候。sigmoid函数的特点使得权重很大的改变对输出产生很小的影响，当层数很多时这种影响甚至可以忽略不计。在权重更新环节，靠近输出端的权重梯度较大，靠近输入端的权重梯度很小，这使得后端权重更新的很快、很快就收敛

>>阅读原文<<