deep learning 四种激活函数比较

sigmoid 又叫S型函数， 是最长用的激活函数， 特点是在定义域内均可导， 这样可以避免出现学习停止现象， 因为一直有梯度， 但也容易产生，在大批量学习时， 后期学习太慢， 因为如果函数输入值越大，梯度越小。在反向传播时， 导致越来越小。最终梯度消失。 tanh 函数， 也是常见的激活函数，与sigmoid相似， 好比tanh拉长了就变成了sigmoid， 输出为-1， 1。输出均值为0。 为

>>阅读原文<<