Distilling the Knowledge in a Neural Network

Neural Networks Are More Productive Teachers Than Human Raters 我们研究了如何通过从黑匣子教师模型中提炼知识，以数据高效的方式训练学生深度神经网络进行视觉识别。在这个问题上的进展可以大大降低学习高性能视觉识别模型对大规模数据集的依赖性。有两个主要的挑战，一是应尽量减少对教师模型的查询次数，以节省计算和/或财务成本。另一个挑战是，用于知识

>>阅读原文<<