非线性激活函数的公式、导数和优缺点

如下主要介绍4种：Sigmoid, Tanh, Relu, Leaky Relu 各种非线性激活函数的优缺点： Sigmoid： 现在吴恩达几乎从来不用sigmoid激活函数了，但是吴恩达会用sigmoid的一个例外场合是进行二元分类时。 缺点：     1、Sigmoid容易饱和，并且当输入非常大或者非常小的时候，神经元的梯度就接近于0了，从图中可以看出梯度的趋势。这就使得我们在反向传播算法中反

>>阅读原文<<