【机器学习】激活函数(Activation Function)

https://blog.csdn.net/ChenVast/article/details/81382795   激活函数是模型整个结构中的非线性扭曲力 神经网络的每层都会有一个激活函数     1、逻辑函数(Sigmoid): 使用范围最广的一类激活函数,具有指数函数形状,它在物理意义上最为接近生物神经元。 其自身的缺陷,最明显的就是饱和性。从函数图可以看到,其两侧导数逐渐趋近于0,杀死梯度。
相关文章
相关标签/搜索