[DL]激活函数

1、激活函数：是一个非线性函数，用激活函数套在线性函数外面，正割函数就变成非线性函数，用在神经网络中，能够使得本只能拟合线性曲线的网络层，能够拟合非线性曲线。

2、激活函数举例：

一、sigmoid: y=1/(1+e^{-x}) ——>0<y<1,mean=0.5，适用于二分类

二、tanh: y = (exp(x) - exp(-x))/(exp(x) + exp(-x)) ——> -1 < y < 1，mean = 0，

tanh比sigmoid高效是由于tanh的均值为0，神经元更喜欢靠近0的输入值

sigmoid和tanh的缺点：当输入数据的值比较大时，神经网络的学习较慢。

三、relu: y = x, while x > 0

y = 0, while x <= 0

四、leaky relu : y = x,x > 0

y = λx, x <= 0

五、softmax: y = exp(z) / np.sum(exp(z))