AlexNet 《ImageNet Classification with Deep Convolutional Neural Networks》学习笔记

AlexNet的主要结构 总共包含8层学习层:5层卷积层和三层全连接层 下面介绍了几个重要的网络结构: 1.ReLU Nonlinearity 相比较于f(x) = tanh(x) 或者 f(x) = (1 + e^-x)^-1这样的饱和非线性(这两个函数在 -1,1 和 0,1附近接近饱和),对于随机梯度下降的方法,f(x) = max(0; x) 也就是ReLU要比两者快很多,下图是一个对比图
相关文章
相关标签/搜索