Revisit Knowledge Distillation: a Teacher-free Framework

Observations 通过几组实验观察到 反转Knowledge Distillation(KD)即利用student来guide teacher的话，teacher的性能依然可以得到提升 用一个比student还差的teacher来guide student的话，student的性能依然可以得到提升 因此作者得到以下观点 KD只是一种可学习的label smoothing regulariz

>>阅读原文<<