模型的前端压缩

一、知识蒸馏 利用迁移学习的方法，将一个复杂精度高的老师模型，与一个小但是目标与老师精度一样高的学生模型进行结合。 1. 对整个网络进行知识蒸馏 知识蒸馏的简图： 数据生成器就是我们框架产生的batch,我们将图片输入到教师模型和学生模型中，先计算出教师模型的loss然后通过教师模型的loss引导学生模型的loss，从而使学生模型的loss下降。下面是详细的图解： 将训练集图片分别放入到老师网络（

>>阅读原文<<