【NLP复习】常用激活函数的比较

一、啥是激活函数？为啥用激活函数？常用的有哪些？ 啥是激活函数？激活函数是上层节点的输出和下层节点的输入之间的一个非线性函数关系。 为啥用激活函数？要是不用激活函数，不管多少层的神经网络说白了都是些线性变换的叠加，网络的逼近能力有限，所以引入非线性函数。 常用的有哪些？早期：sigmoid、tanh；近期：Relu及其改进（Leaky-ReLU、P-ReLU、R-ReLU...）、Maxout 二

>>阅读原文<<