ReLU函数

1.非线性激励函数 引入非线性函数作为激励函数，这样深层神经网络就有意义了，不再是输入的线性组合，可以逼近任意函数. 2.选择ReLU作为激活函数 Relu函数的定义是： Relu函数图像如下图所示： relu函数的作用就是增加了神经网络各层之间的非线性关系 ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。有了单侧抑制，才使得神经网络中的神经元也具有了稀疏

>>阅读原文<<