A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning论文初读

目录 摘要 引言 相关工作   知识迁移   快速优化   迁移学习 方法   提出观点   数学表达式   FSP Matrix的损失   学习步骤 实验   快速优化   性能的提升   迁移学习 结论 摘要 提出了将蒸馏的知识看作成一种解决问题的流，它是在不同层之间的feature通过内积计算得到的 这个方法有三个好处：   student网络可以学的更快   student网络可以超过te

>>阅读原文<<