深入浅出：Knowledge Distillation by On-the-Fly Native Ensemble

简述： 这是一篇关于知识蒸馏的论文，知识蒸馏可有效地训练小型通用网络模型，以满足低内存和快速运行的需求。现有的离线蒸馏方法依赖于训练有素的强大教师，这可以促进有利的知识发现和传递，但需要复杂的两阶段训练程序。作者提出了一种用于一阶段在线蒸馏的动态本地集成（ONE）学习策略。具体来说，ONE只训练一个单一的多分支网络，而同时动态地建立一个强大的教师来增强目标网络的学习。   模型overview O

>>阅读原文<<