激活函数sigmoid 、tanh、Relu、Leaky Relu 优缺点对比

同学你好,这是个很好的问题,flare老师在第8章卷积神经网络的章节也有提及“为什么CNN结构使用relu替代sigmoid作为激活函数”。flare老师和大家分享常用激活函数的优缺点: sigmoid: 很直观的反映了二分类任务的事件可能性(概率),通过引入双边极值稳定的非线性函数关系能有效地模拟神经元信息机制,在逻辑回归与神经网络中被广泛使用。 缺陷:双边区域数值饱和(x很大或很小)导致随着x
相关文章
相关标签/搜索