深度学习中常用的激活函数

我们知道深度学习的理论基础是神经网络，在单层神经网络中（感知机），输入和输出计算关系如下图所示： 可见，输入与输出是一个线性关系，对于增加了多个神经元之后，计算公式也是类似，如下图： 这样的模型就只能处理一些简单的线性数据，而对于非线性数据则很难有效地处理（也可通过组合多个不同线性表示，但这样更加复杂和不灵活），如下图所示： 那么，通过在神经网络中加入非线性激励函数后，神经网络就有可能学习到平滑的

>>阅读原文<<