Preparing Lessons: Improve Knowledge Distillation with Better Supervision论文笔记

论文地址：http://arxiv.org/abs/1911.07471 github地址：无 本文提出两种监督方式来提高知识蒸馏的效果，旨在解决teacher网络出现错分类结果和模糊分类结果时的蒸馏问题，保证student网络始终学习到有效的知识。 Methods Bad phenomenon 1：Genetic errors 含义：学生网络和教师网络都得到相同错误的预测结果，当教师网络预测错时

>>阅读原文<<