AlexNet论文总结

1.Relu激活函数的使用 使用ReLU激活函数，要比使用常用的的费线性激活函数如sigmoid，tanh等函数，网络的训练速度要快上好几倍。 ReLU函数为什么可以提高训练速度？ 一下内容借鉴了Physcal博客ReLU激活函数 传统sigmoid函数的特点（logistic-sigmoid。tanh-sigmoid） 从图上看，非线性的sigmoid的函数对中央区的信号增益较大，两侧的信息增益

>>阅读原文<<