神经网络**函数可视化

在神经网络中，**函数决定来自给定输入集的节点的输出，其中非线性**函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，**函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的**函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若干个特定的**函数（identity、sigmoid、ReLU 及其变体）。 下面是**函数的图示及其一阶导数，图

>>阅读原文<<