激活函数ReLU、Leaky ReLU、tanh(双曲正切函数Hyperbolic tangent function)

深度学习的激活函数 :sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus - 程序员大本营 https://www.pianshen.com/article/6147380115/ 数学表达式: y = max(0, x) + leak*min(0,x) 与 ReLu 相比 ,leak 给所有负值赋予一个非零斜率, leak是一个很小的常数
相关文章
相关标签/搜索