深度神经网络调参之激活函数

神经网络本质上是利用线性变换加激活函数达到非线性变换的效果，从而将原始的输入空间特征投向稀疏可分的空间。最后去做分类或者回归。正是因为有激活函数，才使得神经网络有能力去模拟出任意一个函数。 本文简单介绍下常见的激活函数，以及它们各自的优缺点。 sigmoid 上图是sigmoid函数的图像，表达式为 σ(x)=1/(1+e−x) σ ( x ) = 1 / ( 1 + e − x ) 图像上可以看

>>阅读原文<<