CV学习（二）：网络优化之七个常见激活函数介绍

网络优化之激活函数介绍 激活函数：神经网络的信号经过非线性的激活函数传递。正是由于非线性函数的反复叠加，才使得神经网络有足够的非线性拟合能力。选择不同的激活函数会影响整个深度神经网络。 1.Sigmoid函数 公式 函数图像 Sigmoid是传统神经网络使用频率最高的函数它平滑，便于求导。旦易出现梯度消失的问题。 函数输出不是0中心【输出值恒大于0】，这会使得模型训练的收敛速度变慢，且使用的是幂运

>>阅读原文<<