转载：常用激活函数（激励函数）理解与总结

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 关于ReLU死亡的解释：设学习速率为r, ReLU的梯度为d(ReLU(wx+b))，那么权重更新公式为：w = w - rd(ReLU(wx+b)); 如果d(ReLU(wx+b))为1，那么权重更新公式变成了：w = w - r；如果学习率 r 较大使更新后的值w为较大的负值，那么很可能在

>>阅读原文<<