神经网络中的**函数

1、**函数的作用 在神经网络中，**函数的作用是能够给神经网络加入一些非线性因素，使得神经网络能够很好的解决比较复杂的问题。 如果不使用**函数，神经网络中的每一层的输出只是承接了上一层输入函数的线性变换，无论神经网络有多少层，输出都是输入的线性组合。 2、**函数的发展经历了Sigmoid–>Tanh–>ReLU–>Leaky ReLU–>Maxout这样的过程，还有一个特殊的**函数Soft

>>阅读原文<<