浅析神经网络中的激活函数

1 什么是激活函数 激活函数就是一类x到y的映射 目的：是为了引入非线性元素，解决线性模型不能解决的问题。 意义：一个没有激活函数的神经网络将只不过是一个线性回归模型（Linear regression Model）。它并不能表达复杂的数据分布。 激活函数一般要满足的性质： 非线性：因为如果是线性激活函数，不管多少隐藏层，输出都是输入的线性组合。 可微性：因为当优化方法是基于梯度的时候，要对激活函

>>阅读原文<<