激活函数（3）ReLU、softplus激活函数

Relu激活函数（The Rectified Linear Unit）, 用于隐层神经元输出。公式如下                                                                                             Relu函数及其导数的图像如下图所示： ReLU函数其实就是一个取最大值函数，注意这并不是全区间可导的，但是我们

>>阅读原文<<