常用激活函数sigmoid,Tanh,ReLU

什么是激励函数 激励函数一般用于神经网络的层与层之间,上一层的输出通过激励函数的转换之后输入到下一层中。神经网络模型非线性的,如果没有激励函数,那么每一层实际上就相等于矩阵乘法。而将过非线性的激励函数的作用,可以使神经网络拥有更过的表现力。 下面我们具体的描述这一问题 如下,加入x1,x2是神经网络输入层节点,net01是隐含层的一个节点,可以知道的是 neto1 = x1*w1+x2*w2+1*
相关文章
相关标签/搜索