Model Distillation with Knowledge Transfer in Face Classification, Alignment and Verification

ICLR-2018 概述 这篇文章的主要工作是使用知识蒸馏的方法压缩模型，主要的trick在损失函数的设计，对于不同类别的任务，使用soft-target设计损失函数，并且使用分类任务来初始化教师和学生网络的参数。 摘要 知识蒸馏是模型压缩的潜在解决方案。这个想法是让一个小型学生网络模仿大型教师网络的目标，然后学生网络可以与教师网络竞争。以前的大多数研究都集中在分类任务中的模型蒸馏，他们为学生网络

>>阅读原文<<