ReLU激活函数的非线性性质

ReLU激活函数的非线性性质 本文节选自学习笔记（四），单独探讨ReLU激活函数的非线性性，并进行数学说明。 非线性激活函数：同一般的神经网络相同，采用非线性激活函数能够使网络全过程训练摆脱单一的线性关系，让feature map获得的特征更加符合现实。在大部分CNN网络架构当中，采用ReLU函数作为激活函数，ReLU函数表示如下： R e L U = { x , if  x   >  0 0 ,

>>阅读原文<<