三种激活函数以及它们的优缺点

三种激活函数以及它们的优缺点 sigmoidsigmoidsigmoid 导数：g′(z)=a(1−a)g^{'}(z)=a(1-a)g′(z)=a(1−a) 最基本的激活函数，logistics regression以及讲解深度神经网络的时候作为简单例子，但实际上很少使用。 原因如下： 当z非常大或者非常小的时候，a的斜率变得越来越接近0，这会使得梯度下降算法变得极为缓慢。 但sigmoidsi

>>阅读原文<<