知识蒸馏学习笔记1--Distilling the Knowledge in a Neural Network

Distilling the Knowledge in a Neural Network Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏(暗知识提取)的概念,通过引入与教师网络(teacher network:复杂、但推理性能优越)相关的软目标(soft-target)作为total loss的一部分,以诱导学生网络(student n
相关文章
相关标签/搜索