Like What You Like: Knowledge Distill via Neuron Selectivity Transfer 论文翻译

摘要 尽管深度神经网络已经在各种各样的应用中表现出非凡的效果，但是其优越的性能是以高存储和计算成本为代价的。因此，神经网络的加速和压缩近来引起了人们极大的关注。知识迁移（KT），旨在通过从较大的教师模型迁移知识来训练一个较小的学生网络，是流行的解决方案之一。在本文中，我们通过将其视为一个分布匹配问题来提出一个新的知识迁移方法。特别地，我们匹配教师和学生网络之间的神经元选择性模式的分布。为了实现这一

>>阅读原文<<