深度学习中常见的激活函数

　　上一篇文章介绍了激活函数的作用，就想一并整理一下深度学习领域中常见的激活函数。在深度学习中，常见的激活函数有三种：sigmoid函数，tanh函数，ReLU函数。我们可以在LSTM网络中同时见到tanh函数和sigmoid函数，ReLU函数对于CNN则是不可缺少的。 　　下面分别进行介绍。 　　1.sigmoid函数（S型增长函数） 　　sigmoid函数能够将取值为$(-\infty,+\i

>>阅读原文<<