神经网络中的一些常见概念

神经网络相关概念 激活函数 Sigmoid函数 双曲正切函 ReLU函数 损失函数 学习率 过拟合 激活函数 为啥需要激活函数？在神经网络中，我们的输入层通过各个连接上的权值，进行加权求和后传递到下一层，这种处理方式往往是呈线性组合的状态，而我们知道一般线性函数的值域是负无穷到正无穷，也是就是说线性组合的模型缺乏逼近能力，而我们的神经网络的训练大多需要一个梯度下降即寻找最小误差的过程，很显然，这种

>>阅读原文<<