【第2篇】常用的几种**函数

**函数

假设我们只看下图前馈神经网络中圈到的神经元，其他的不看，就可以得到图1效果

---------------------------------------------------------- 图1 ---------------------------------------------------------

**函数定义

在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是**函数。
**函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，否则每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这就是最初的感知机，应用很局限。

常用的三种**函数（sigmoid函数、tanh函数、relu函数）

sigmoid函数

输出范围在0到1之间，曲线两端平坦

tanh函数

输出范围在**-1到1**之间，曲线两端平坦

relu函数（取最大值函数）

重点：隐藏层的常用relu函数，因为sigmoid函数与tanh函数两边都很平坦，基本是平行的，梯度下降难以实现(梯度消失现象)，这会导致输出层神经元学习率缓慢，故常用relu函数