【机器学习】激活函数（Activation Function）

激活函数是模型整个结构中的非线性扭曲力 神经网络的每层都会有一个激活函数     1、逻辑函数（Sigmoid）： 使用范围最广的一类激活函数，具有指数函数形状，它在物理意义上最为接近生物神经元。 其自身的缺陷，最明显的就是饱和性。从函数图可以看到，其两侧导数逐渐趋近于0，杀死梯度。 函数图像：   2、正切函数（Tanh）： 非常常见的激活函数。与sigmoid相比，它的输出均值是0，使得其收敛

>>阅读原文<<