神经网络基础知识

激励函数(activation function) 主要作用是提供网络的非线性建模能力。如果没有激励函数，那么该网络仅能够表达线性映射，此时即使有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此可以这么认为，只有加入了激励函数之后，深度神经网络才具备了分层的非线性映射学习能力。 性质： 可微性： 当优化方法是基于梯度的时候，这个性质是必须的 单调性： 当激励函数是单调的时候，单层网络能够保证

>>阅读原文<<