深度学习中激活函数的选择

为什么引入非线性激活函数 如果不使用非线性的激活函数，无论叠加多少层，最终的输出依然只是输入的线性组合。 引入非线性的激活函数，使得神经网络可以逼近任意函数。 常用激活函数 sigmoid函数 σ(z)=11+e−z σ(z)′=σ(z)(1−σ(z)) sigmoid函数是最常见的激活函数，常用于输出层。其值域为0到1。 tanh双曲正切函数 g(z)=ez−e−zez+e−z g(z)′=1−

>>阅读原文<<