激活函数之ReLU函数

0 前言 激活函数的引入是为了增长神经网络模型的非线性，没有激活函数每层就至关于矩阵相乘。每一层输出都是上层的输入的线性函数，不管神经网络多少层，输出都是输入的线性组合，就是最原始的感知机网络 加入激活函数，给神经元引入非线性因素，神经网络能够任意逼近任何非线性函数，这样神经网络就能够应用到众多的非线性模型中。函数 1 激活函数之ReLU函数 ReLU函数是目前比较火的一个激活函数,函数公式：，函

>>阅读原文<<