神经网络相关论文总结

Name	Year	Chararcteristics	Paper link
LeNet-5	1998	开山之做，实现了参数共享，局部感知，平均池化降采样	LeNet-5
AlexNet	2012	使用ReLU解决梯度弥散，使用dropout解决过拟合，多GPU训练提高速度，提出了局部响应归一化(LRN)进一步防止梯度爆炸(后来证实不如BN)，数据加强提高了泛化性能	AlexNet
ZFNet	2013	相似于AlexNet，卷积核的大小减少,作了不少细小的试验，验证深度学习的可行性，包括可视化中间特征，对后来的研究颇有意义	ZFNet
OverFeat	2013	在特征图后面加入bbox回归网络，相对于Alexnet，不使用LRN，更大的pooling stride	OverFeat
VGG	2015	证实网络深度是颇有影响力的，可是太深会梯度爆炸(在resnet出现以后解决了深度问题)	VGG
NIN	2014	conv+relu是假设问题时线性可分的，可是实际问题每每是非线性可分，提出的多层感知机卷积层，是对conv+relu的改进，增长局部模型的表达能力;全局平均池化，避免过拟合;参数更少;提出了1x1卷积，后续的inception系列会用到	NIN
GoogleNet (inception V1)	2014	多种大小卷积并联,在增长宽度的同时增长网络对尺度的适应性	GoogleNet
inception V2	2015	加入了BN层,用两个3x3代替5x5的卷积，减小参数量，加速计算	inception V2
inception V3	2016	提出只有等比例的增大深度和维度才能最大限度的提高网络的性能，网络的深度和宽度要平衡，V3的网络更深更宽，相对V1增长了1.5倍参数，但精度极大提高	inception V3
inception-V4	2016	优化了stem模块，inception模块更宽了，总的层数也更深，效果更好	inception-V4
Inception-ResNet-V1	2016	在inception-V3的基础上引入resnet思想，计算量和效果基本一致，训练更快	Inception-ResNet-V1
Inception-ResNet-V2	2016	在inception-V4的基础上引入resnet思想，计算量和效果基本一致，训练更快	Inception-ResNet-V1
ResNet-V1	2015	做者推断训练残差比训练原始函数更容易，引入了shortcut或者叫瓶颈，解决了深度网络的退化问题	ResNet-V1
ResNet-V2	2016	V1在200层左右就会出现过拟合，在V2中调整了relu层在残差块中的位置，实现了预激活，实现了深度达到1000的时候都不会出现过拟合	ResNet-V2
ReNeXt	2016	根据inception和resnet的结构，讨论了不一样状况下的网络结构对于网络的影响，优化了resnet，使用更少的参数量，可以达到和resnet同样的效果	ReNeXt
SENet	2017	考虑特征通道之间的关系，提出了SE模块，在short cut中引入了全局平均池化，能够内嵌到其余的网络，得到不一样种类的 SENet，提高效果	SENet
MobileNet V1	2017	体积小，计算量少，适用于移动设备的卷积神经网络,用深度可分离卷积（Depthwise separable convolution）代替标准的卷积，并使用宽度因子(width multiply)减小参数量	MobileNet V1
MobileNet V2	2018	轻量化网络，主要解决了MobileNet V1在训练过程当中很是容易梯度弥散的问题,增长skip connection,删除最后一层的ReLu6，Inverted residual block，先升维再卷积，避免破坏特征	MobileNet V2
ShuffleNet V1	2017	使用Group convolution和Channel shuffle改进ResNet	ShuffleNet V1
ShuffleNet V2	2018	输入通道数与输出通道数保持相等,改变V1的结构，使得他更符合现有的一些效果好的规则，加入SE以后，网络也会有很好的提高	ShuffleNet V2
SqueezeNet	2017	SqueezeNet以AlexNet大约1/50的参数实现了相似的性能	SqueezeNet
Xception	2016	网络结构的新的尝试，深度可分离卷积下降计算量	Xception

后续的语义分割的论文另开一篇详细总结