ReLU激活函数杂谈

在实现多层感知机代码实现中使用了ReLU激活函数： R e L U ( x ) = m a x ( x , 0 ) ReLU(x)=max(x,0) ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将仿射函数进行非线性化，可以拟合出更多的情况。更详细的解答可以参考知乎激活函数的解释 ReLU函数的梯度问题 首先

>>阅读原文<<