知识蒸馏 | (1) 知识蒸馏概述

原文地址 这是一篇关于【知识蒸馏】简述的文章，目的是想对知识蒸馏学习的内容和问题进行总结。笔者挑选了部分经典的paper详读，希望对于对KD有需求的同学提供一个概览和帮助。 引子 昆虫记里写道：”蝴蝶以毛毛虫的形式吃树叶积攒能量逐渐成长，最后变换成蝴蝶这一终极形态来完成繁殖”。虽然蝴蝶和毛毛虫两者本质是同一种生物，但是面对不同环境和任务的时候，形态不同——毛毛虫形态下可以更方便地吃树叶，保护自己，

>>阅读原文<<