各类激活函数的比较

激活函数的做用 首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的做用是可以给神经网络加入一些非线性因素，使得神经网络能够更好地解决较为复杂的问题。 好比在下面的这个问题中： 如上图(图片来源)，在最简单的状况下，数据是线性可分的，只须要一条直线就已经可以对样本进行很好地分类。 但若是状况变得复杂了一点呢？在上图中(图片来源)，数据就变成了线性不可分的状况。在这种状况下，简单的一条直线就

>>阅读原文<<