关于Deeplearning中的激活函数梯度消失问题以及如何选择激活函数

什么是激活函数？ 如上：输入input,经过加权求和，再经过activation函数激活，再输出作为下一层的输入。 为什么要用激活函数 我们知道，经过加权求和时，输入呈现线性函数关系，此时如果没有激活函数，输出都呈现线性组合，不管神经网络有多少层，结果说到底为线性方程式，无法来映射现实中复杂的因素。之所以运用神经网络，是想让其能像人脑对外界复杂因素进行解析，而这些复杂因素往往并非简单线性所能解决。

>>阅读原文<<