知识蒸馏(Knowledge Distillation)

一、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏(暗知识提取)的概念,经过引入与教师网络(teacher network:复杂、但推理性能优越)相关的软目标(soft-target)做为total loss的一部分,以诱导学生
相关文章
相关标签/搜索