机器学习领域常用激活函数汇总

前言 这篇博客简介了一些常见的激活函数，并简要总结了每个激活函数的缺点。 部分常见激活函数一览图：     sigmoid 表达式： 导数： sigmoid激活函数图像如下： 下面我们来看看sigmoid激活函数有哪些缺点： 在饱和区域存在梯度缺失的问题。 sigmoid是一个非零中心的函数。 表达式较为复杂，计算复杂度高。 这里详细介绍第二个缺点，我们知道在NN的训练过程中，正向传播得到损失值会

>>阅读原文<<