网络退化、过拟合、梯度消散/爆炸

过拟合 指的是模型在训练数据集上表现良好，在测试数据集上表现很差。 原因 模型将对训练数据过学习，将训练数据的特性当成共性学习进去（对数据的细节刻画的过于仔细）。当过拟合模型应用在测试数据集上时，由于测试数据集并不具备有训练数据独有的特性，所以造成模型泛化能力差，在测试数据集上表现不佳。 应对方法 增大网络规模 扩大训练集数据 对模型使用正则化，平衡数据集大小和模型复杂度 Dropout，主要用于

>>阅读原文<<