hint-based learning快速理解

FITNETS: HINTS FOR THIN DEEP NETS 论文地址:https://arxiv.org/abs/1412.6550 这篇论文主要是研究如何在更深的学生网络上取得更好的效果。之前提出的知识蒸馏，是用比较小的学生模型来模仿比较大的老师模型的知识、信息、输出，在这里为了取得更好的表现，我们希望学生模型更大一点更深一点，更为了防止更深的网络在模仿时出错，我们不知考虑老师模型的最终

>>阅读原文<<