CS231n学习笔记六

激活函数 sigmoid : σ ( x ) = 1 / ( 1 + e − x ) \sigma(x)=1/(1+e^{-x}) σ(x)=1/(1+e−x) 特点: 将输入的值压缩到 [ 0 , 1 ] [0,1] [0,1]之间 通常很流行,因为它有一个很好的解释,可以表示一个神经元的饱和“放电率” 存在的问题: 会使梯度消失,当输入 x x x为很大的正数或很小的负数时,他们位于sigmo
相关文章
相关标签/搜索