FITNETS论文初读

目录 摘要 引言 方法   KD的回顾   提出基于Hint的训练方式（应该就是CL）   Fitnet的分阶段训练   与CL训练的关系 实验结果（挑选的有意思的） 实验分析 结论 摘要 不仅仅用到了输出，还用到了中间层作为监督信息 让学生网络变得更深的同时，让它变的更快 引言 之前蒸馏的做法： 之前一篇论文是用集成的模型作为老师模型，来得到一个更宽但更浅的网络； 另一篇论文是将老师模型的输出的

>>阅读原文<<