小结：常用激活函数

这里写目录标题 1 sigmoid 1.1 概念 1.2 优点 1.3 缺点 2 tanh 2.1 概念 2.2 优点 2.3 缺点 3 ReLU 3.1 概念 3.2 优点 3.3 缺点 3.4 leakyReLU（PReLU） 参考 1 sigmoid 1.1 概念 1.2 优点 （1）实现非线性变换 （2）梯度容易计算 （3）可以进行数据压缩 1.3 缺点 双边饱和，易出现梯度消失 2 ta

>>阅读原文<<