深度学习预训练

1 非线性激励函数 sigmoid: 11+e−x11+e−x tanh: tanhtanh softplus: log(1+ex)log(1+ex) Relu: max(x,0)max(x,0)   1.1 作用 对于无非线性激励函数情况，每一层网络输出都为线性函数，可验证无论神经网络层数多少，输出都是输入的线性组合，意味着单层网络也可实现，这也是最原始的感知机。  引入非线性激励函数，使得深层

>>阅读原文<<