论文理解:AlexNet(一)

alexnet发表于2012年 是非常经典的网络。 他的主要贡献有: 1.使用relu激活函数,加快了模型收敛。 2.使用双层结构,进行了gpu并行加速。属于计算图并行。 3.提出LRN层,局部归一化。 4.overlapping pooling 5.基于PCA的图像增强。 一、relu激活函数 这里不多说了,前面博客里说过,加relu激活函数可以避免梯度消失,因为relu是非饱和函数。 首先看一
相关文章
相关标签/搜索