ReLU:优于Sigmoid的激活函数

ReLU:优于Sigmoid的激活函数 在进行机器学习时,第一个接触到的激活函数一定是Sigmoid函数。所谓激活函数,是一种将输出改变为非线性的使得模型功能性更强的应用手段。而Sigmoid函数作为新人面孔中出现最频繁的激活函数,可谓是占尽了风头。但Sigmoid激活函数任然具有他的局限性,这要从他的数学性质说起: 从函数形式上来看,sigmoid函数为指数型函数,这无疑会加大其计算量 从函数性
相关文章
相关标签/搜索