激活函数(sigmoid和ReLU)

激活函数给神经元引入了非线性因素,如果不用激活函数,神经网络每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。 比如对于一个二分类问题: 如果用线性分类,那就只能按照下图划分: 如果可以非线性分类,那就可以按照下面的图进行划分: 激活函数使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。 sigmoid sigmoid函数的定义为:
相关文章
相关标签/搜索