激活函数(ReLU, Swish, Maxout)

神经网络中使用激活函数来加入非线性因素，提升模型的表达能力。html ReLU(Rectified Linear Unit,修正线性单元) 形式以下: \[ \begin{equation} f(x)= \begin{cases} 0, & {x\leq 0} \\\\ x, & {x\gt 0} \end{cases} \end{equation} \]git ReLU公式近似推导::githu

>>阅读原文<<