深度学习论文笔记——Distilling the Knowledge in a Neural Network

文章目录 主要工作 motivation method 实验 主要工作 提出一种知识蒸馏的方法,可以压缩模型,让小模型达到与集成亦或是大型模型相似的性能 提出一种新的集成学习方法,可以让模型训练速度更快,并且是并行训练 本文只总结第一点 motivation 大型模型往往不适合线上部署,一方面是计算资源消耗大,另一方面是响应速度慢,因此Hinton便考虑是否可以将大模型的知识迁移到小模型上,这里有
相关文章
相关标签/搜索