常见激活函数及其求导相关知识

文章目录 Sigmoid函数 Sigmoid函数介绍 Sigmoid函数求导 tanh 函数 tanh 函数介绍 tanh 函数求导 Relu函数 Relu函数介绍 Relu函数求导 Softmax函数 Softmax函数介绍 Softmax函数求导 激活函数作用 激活函数的选择 均值不为零问题 Sigmoid函数 Sigmoid函数介绍 Sigmoid 是常用的非线性的激活函数，公式如下： σ

>>阅读原文<<