深度学习激活函数及选择原则

**一、激活函数:**一种非线性变换函数。 1、ReLU函数:ReLU(x)=max(x,0) ReLU函数只保留正数元素,并将负数元素清零。 函数图像如下: 函数求导图像如下: 2、Sigmoid函数:sigmoid(x)=1(1+exp(−x)) 将元素的值变换到0和1之间。 函数图像如下: 函数求导sigmoid′(x)=sigmoid(x)(1−sigmoid(x)),图像如下: 3、ta
相关文章
相关标签/搜索