知识蒸馏Knowledge Distillation论文汇总

FITNETS: HINTS FOR THIN DEEP NETS 论文连接 该论文扩展了知识蒸馏的方法,student网络比teacher更深、更“瘦”,不只使用teacher的输出做为训练student的soft targets,并且使用teacher学到的中间表示(intermediate representations)做为hint,改进学生的训练过程和最终表现。更深的模型泛化性能更好,使
相关文章
相关标签/搜索