深度学习中的激活函数

　　众所周知神经网络单元是由线性单元和非线性单元组成的，而非线性单元就是我们今天要介绍的--激活函数，不同的激活函数得出的结果也是不同的。他们也各有各的优缺点，虽然激活函数有自己的发展历史，不断的优化，但是如何在众多激活函数中做出选择依然要看我们所实现深度学习实验的效果。 　　这篇博客会分为上下两篇，上篇介绍一些常用的激活函数（Sigmoid、tanh、ReLU、LeakyReLU、maxout）

>>阅读原文<<