神经网络激活函数总结

激活函数的作用 在线性不可分的情况下，激活函数可以给模型引入非线性因素。什么意思呢？比如下面异或问题。 x y z 1 0 1 0 1 1 1 1 0 0 0 0 这个问题是线性不可分的，假设有一个单隐藏层的神经网络，如图： 上图线上数字表示权重，下面两个节点是异或问题的输入，中间隐藏层的1.5表示大于1.5才激活输出1，否则输出0，后面输出层0.5同理。 如果熟悉神经网络的前向传播，容易看出，

>>阅读原文<<