激活函数的选择，sigmoid/tanh/ReLU的比较

原文: https://www.cnblogs.com/makefile/p/activation-function.html#undefined © 康行天下（只摘取部份内容）html 激活函数选择 首先尝试ReLU,速度快,但要注意训练的状态. 若是ReLU效果欠佳,尝试Leaky ReLU或Maxout等变种。 尝试tanh正切函数(以零点为中心,零点处梯度为1) sigmoid/tanh在

>>阅读原文<<