几类常见的激活函数——$ReLU$函数、$sigmiod$ 函数、$tanh$ 函数

背景介绍： 对于常见线性回归和 s o f t m a x softmax softmax 单层神经网络，在深度学习中的多层神经网络都可以对带有隐藏层的多层感知机，其中的一至多个隐藏层经过非线性变换等价于一个单层的神经网络；常⽤的激活函数包括 R e L U ReLU ReLU 函数、 s i g m o i d sigmoid sigmoid 函数和 t a n h tanh tanh 函数。

>>阅读原文<<