激活函数整理

1. 前言 这里主要首先要说下为什么在深度学习网络中需要加入激活函数？因为激活函数是网络中非线性的来源，去除了该部分之后网络就只剩下线性运算部分了，而且线性运算的组合叠加也是线性的，最后得到的结果模型也当然可以等价于单层的线性模型了，也为了能够适用于复杂的情况，所以需要在网络中引入非线性单元。 那么说到了激活函数那么就先从常见的sigmoid开始谈起吧。 2. sigmoid函数 首先，来看看si

>>阅读原文<<