从傅里叶分析角度解读深度学习的泛化能力

  深度学习成功地应用在很多领域，但对它的理论理解却非常缺乏。这两年，很多理论学家把关注点放在一个关于深度学习与传统学习理论的悖论上。在传统学习理论中，模型的参数越多，模型一般会更好地拟合训练数据，但模型的泛化能力（拟合测试数据集的能力）会变差。在深度学习中，参数的数目比训练数据集要大得多，但深度网络（DNN）却通常既能拟合好训练数据，又保持良好的泛化能力。这个违反直觉的现象被大家称为“明显悖论”

>>阅读原文<<