knowledge distillation论文阅读之：Learning from a Lightweight Teacher for Efficient Knowledge Distillation

文章目录 论文核心思路： 1. 经典的 KD 2. Teacher-free distillation（TF-KD） 3. Lightweight knowledge distillation（LW-KD） 3.1 生成 synthetic MNIST 合成数据集 3.2 生成 soft target 软标签 3.3 改进 KD loss function：enhanced L K D L_{KD

>>阅读原文<<