机器学习的激励函数的故事

1）七种激活函数列举： 2）解析列举 3）总结： 1）最早的是sigmoid,它与tanh换汤不换药，都有梯度饱和效应的局限，让大部分网络瘫痪， 2）目前最常用的是ReLU，但是一定要注意参数初始化和学习率的选择设置(这里还是个问题！！！) 3）为了提高模型精度，我们会去考虑那部分输出为零一下的梯度，于是分别出现了：Leaky ReLU,参数化ReLU,随机化ReLU,和指数化ELU 4）分析一个

>>阅读原文<<