激活函数比较

激活函数定义 在多层神经网络中,上层节点的输出和下层节点的输入之间具有一个函数关系,这个函数称为激活函数 激活函数作用 我们决定引入非线性函数作为激活函数,这样深层神经网络表达能力就更加强大。如果不用激活函数,每一层节点的输入都是上层输出的线性函数,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机 Sigmoid函数 数学表达式: 几何图像: 导数图
相关文章
相关标签/搜索