CS231n学习笔记--2.NN1

1.激活函数对于神经网络来说是必要的，因为没有它，无论有多少层最终都可以化简为线性函数； 2.常用激活函数：每个激活函数都是对一个数做操作。 激活函数 图像 公式 优缺点 sigmoid 1.当输出接近0或1时对应的导数接近0，这会导致梯度消散； 2.sigmoid的输出不以0为中心，这将导致反向传播时W的gradient要么是全正，要么是全负，这将导致权值更新的路径是一个zig-zag路径，使收

>>阅读原文<<