神经网络ResNet训练CIFAR10数据集

loss在反向传播的过程中，传递到浅层的梯度非常小，使得浅层参数难以更新。resnet引入了残差单元（residual unit）：通过直接和输入连接，使得浅层的参数变得可以训练。  bottleneck将左图中的一个3*3的卷积层，改为了两个1*1的卷积层，在参数个数相近的情况下，加深了网络深度。 resnet就是上面的残差单元（residual unit）或者是bottleneck不断堆叠形成

>>阅读原文<<