Deep Learning基础--26种神经网络激活函数可视化

  在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数容许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度降低进行优化，激活函数须要是可微分（或者至少是几乎彻底可微分的）。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。所以，神经网络倾向于部署若干个特定的激活函数（identity、sigmoid、ReLU 及其变体）。html 下面是 26 个激活函数

>>阅读原文<<