蒸馏算法闲聊

蒸馏算法的经典论文为《Distilling the Knowledge in a Neural Network》 解决问题就是，在使用的时候，把复杂模型变简单，把大模型变小。所以叫蒸馏。下图是我看到最明白的整理模型图分享一下地址 简述过程 首先说明，此处一般指多分类网络。硬标签指0、1；软标签指概率； 1、用硬标签训练大网络（硬标签） 2、用训练好的大网络来得到样本的软标签 3、用软标签和硬标签共

>>阅读原文<<