sigmoid tanh Relu比较

1、sigmoid函数 函数曲线图如下： 函数导数曲线图如下： 优点： 输出为0到1之间的连续实值，此输出范围和概率范围一致，因此可以用概率的方式解释输出。- 将线性函数转变为非线性函数 缺点： 容易出现gradient vanishing 函数输出并不是zero-centered 幂运算相对来讲比较耗时 对应的tf函数：tf.nn.sigmoid() 2、tanh函数 tanh函数表达式： 函数

>>阅读原文<<