神经网络激活函数？——再从感知机到 logistic regression 和 SVM

激活函数 将神经网络的输出非线性化的一种函数。 在计算网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。 激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。 （所以激活函数都是非线性函数，比如最常用的 sigmoid、tanh 和 ReLU） 理解为什么需要激活函数引入非线性性： 单层感知机：最常用的神经网络组成单元，用它可以划出一条线, 把平面分割开 那么很容易

>>阅读原文<<