【李宏毅机器学习2017】tips for training DNN

本次课程的目录： 激活函数 使用sighmoid函数容易造成梯度消失的原因是： DNN中，越靠近输出层的权重的梯度越大，因此，能更快地学习到位；而越靠近输入的权重梯度越小，几乎都是随机的。 sigmoid函数所表示的映射关系，决定了w造成的变化在逐层传递的过程中会逐级减弱。 ReLU relu会使得计算过程中一部分神经元的输出变为0（相当于剔除），而另一部分神经元则变成线性神经元。这样，总体的网络

>>阅读原文<<