CNN笔记(3)---激活函数

8.Activation Function 8.1 Sigmoid 型函数 σ(x)=11+e(−x) σ ( x ) = 1 1 + e ( − x ) sigmoid 将输出响应的值域压缩到[0,1]之间html 可是,两端大于5,小于-5的区域,梯度接近0,带来梯度的“饱和效应”web 反向传播中没法传递偏差网络 并且sigmoid 的值域均值并不是为0,而是全为正dom 8.2 tanh(
相关文章
相关标签/搜索