CNN中激活函数，优化器，损失函数的选择

一 激活函数 关于激活函数的定义，该论文的做者有提到，激活函数的定义 若是没有激活函数，那么该网络仅可以表达线性映射，此时即使有再多的隐藏层，其整个网络跟单层神经网络也是等价的。所以也能够认为，只有加入了激活函数以后，深度神经网络才具有了分层的非线性映射学习能力。激活函数不是真的要去激活什么。在神经网络中，激活函数的做用是可以给神经网络加入一些非线性因素，使得神经网络能够更好地解决较为复杂的问题。

>>阅读原文<<