残差网络（ResNet）与稠密连接网络（DenseNet）

ResNet 残差块 让我们聚焦于神经网络局部。如图5.9所示，设输入为 𝑥 。假设我们希望学出的理想映射为 𝑓(𝑥) ，从而作为图5.9上方激活函数的输入。左图虚线框中的部分需要直接拟合出该映射 𝑓(𝑥) ，而右图虚线框中的部分则需要拟合出有关恒等映射的残差映射 𝑓(𝑥)−𝑥 。残差映射在实际中往往更容易优化。以本节开头提到的恒等映射作为我们希望学出的理想映射 𝑓(𝑥) 。我

>>阅读原文<<