Rectified Linear Units, 线性修正单元激活函数

ReLU 在神经网络中，常用到的激活函数有sigmoid函数： f(x)=11+e−x 而本文要介绍的是另外一种激活函数，Rectified Linear Unit Function(ReLU, 线性激活函数) ReLU函数可以表示为 f(x)=max(0,x) 显然，线性激活函数简单地将阈值设置在零点，计算开销大大降低，而且很多工作显示 ReLU 有助于提升效果 sigmoid、tanh、ReL

>>阅读原文<<