神经网络中的**函数sigmoid、 tanh 、RELU

首先解释为什么要做: 再解释怎么做: 从数学上来看,Sigmoid函数对中央区的信号增益较大,对两侧区的信号增益小,在信号的特征空间映射上,有很好的效果。   在具体应用中,tanh函数相比于Sigmoid函数往往更具有优越性,这主要是因为Sigmoid函数在输入处于[-1,1]之间时,函数值变化敏感,一旦接近或者超出区间就失去敏感性,处于饱和状态,   (3) ReLU 第一,采用sigmoid
相关文章
相关标签/搜索