神经网络中的Max pooling 和 Average pooling

 

 

 

在训练卷积神经网络模型时，常常遇到max pooling 和 average pooling，近些年的图像分类模型多数采用了max pooling，为何都是使用max pooling，它的优点在哪呢？

通常状况下，max pooling的效果更好，虽然 max pooling 和 average pooling 都对数据作了sampling，可是感受max pooling更像是作了特征选择，选出了分类辨识度更高的特征，提供了非线性，根据相关理论，特征提取的偏差主要来自两个方面：（1）邻域大小受限形成的估计值方差增大；（2）卷积层参数偏差形成估计均值的偏移。通常来讲，average pooling 能减少第一种偏差，更多地保留图像的背景信息，max pooling 能减少第二种偏差，更多地保留纹理信息。average pooling 更侧重对总体特征信息进行sampling，在减小参数维度方面的贡献更大一些，更多地体如今信息的完整传递这个层面上，在一个很大颇有表明性的模型中，好比DenseNet中的模块之间的链接大多采用 average pooling，在减小维度的同时，更有利信息传递到下一个模块进行特征提取。

average pooling 在全局平均池化操做中应用得也比较广，在ResNet和Inception结构中最后一层都使用了平均池化。有的时候，在接近模型分类器的末端使用全局平均池化还能够代替flatten操做，使输入数据变成一维向量。

 

max pooling 和 average pooling 的使用性能对于设计卷积网络模型仍是颇有帮助的，虽然池化操做对于总体的精度提高效果不大，可是在减参降维，控制过拟合以及提升模型性能，节约算力方面的做用仍是很明显的，因此池化操做是卷积神经网络设计上不可缺乏的一个环节。