BP中权值更新

ReLU 的缺点： 训练的时候很”脆弱”，很容易就”die”了 例如，一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了，那么这个神经元的梯度就永远都会是 0. 如果 learning rate 很大，那么很有可能网络中的 40% 的神经元都”dead”了。 BP算法中： 有时是 有时是： 这是根据损失函数而定的。以平方损失来说，若损失函数（误差函

>>阅读原文<<