One PUNCH Man——激活函数和梯度消失/爆炸

文章目录 什么是激活函数 激活函数介绍 梯度消失/爆炸 首先推荐一个写公式的网站：https://www.codecogs.com/latex/eqneditor.php 什么是激活函数 如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多

>>阅读原文<<