网络蒸馏算法的一些汇总和想法。

最近在作关键点的算法，须要用到网络蒸馏的思路，可是目前大部分都是分类任务的蒸馏，偶然找到一些其余的思路，整理一下。git １．分类任务的蒸馏方法——软标签算法 传统的分类任务，输出就是one hot 的标签。蒸馏网络让student去学习teacher的软标签，至关于一个更真实的几率分布。这是由于分类任务有自然的几率解释，因此软标签十分合理。网络 ２．检测任务的蒸馏方法，这里只整理分类之外的部分框

>>阅读原文<<