给面试官讲知识蒸馏

知识蒸馏 目的: 模型网络复杂度比较高时，不利于上线，为了使得简单的模型能够有一个较高的复杂度，可以预先训练一个复杂度较高的Teacher Network，然后用Teacher Network去教一个复杂度较低的Student Network，使得Student Network也有一个不错的效果，然后用Student Network 去上线。 推荐： 推荐大家看一下B站的一个短视频，这个up主比较

>>阅读原文<<