深度学习之常用激活函数

  激活函数（Activation Function）一般用于神经网络的层与层之间，将上一层的输出转换之后输入到下一层。如果没有激活函数引入的非线性特性，那么神经网络就只相当于原始感知机的矩阵相乘。   一、激活函数的性质 非线性：当激活函数为非线性的时候，可以证明两层的神经网络可以逼近任意复杂的函数。 连续可微：由于神经网络的训练是基于梯度的优化方法，数学基础是连续可微，因此选取的激活函数也要保

>>阅读原文<<