自然语言菜鸟学习笔记（八）：激活函数

目录 前言 为什么要激活函数？ 几种激活函数 Sigmoid Tanh ReLU Leaky-ReLU ELU 激活函数的选择 前言 学自然语言的时候，也不知道咋回事，就是头冷。 为什么要激活函数？ 比如说对于一个神经网络，我们不用激活函数是一个什么样纸？那么我们可以假想激活函数是 f(x) = x，因为没有用激活函数嘛，也就是 y = x一个线性的存在，神经网络的结构是层次的，高级的层次的输入是

>>阅读原文<<