神经网络中的常用激活函数总结

©PaperWeekly 原创 · 作者｜张文翔 单位｜京东集团算法工程师 研究方向｜推荐算法 激活函数之性质 1. 非线性：即导数不是常数。保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。  2. 可微性：保证了在优化中梯度的可计算性。虽然 ReLU 存在有限个点处不可微，但处处 subgradient，可以替代梯度。 3. 计算简单：激活函数复杂就会降低计算速度，因此 RELU 要

>>阅读原文<<