《动手学深度学习》---卷积神经网络复习

使用多通道可以拓展卷积层的模型参数。 假设将通道维当作特征维，将高和宽维度上的元素当成数据样本，那么1×1卷积层的作用与全连接层等价。 1×1卷积层通常用来调整网络层之间的通道数，并控制模型复杂度。 一方面，ReLU激活函数的计算更简单，例如它并没有sigmoid激活函数中的求幂运算。另一方面，ReLU激活函数在不同的参数初始化方法下使模型更容易训练。这是由于当sigmoid激活函数输出极接近0或

>>阅读原文<<