知识蒸馏《Distilling the Knowledge in a Neural Network》

本文是Hinton 大神在2014年NIPS上一篇论文《Distilling the Knowledge in a Neural Network》 1、Introduction 文章开篇用一个比喻来引入网络蒸馏: 昆虫作为幼虫时擅于从环境中汲取能量,但是成长为成虫后确是擅于其他方面,比如迁徙和繁殖等。 同理,神经网络训练阶段从大量数据中获取网络模型,训练阶段可以利用大量的计算资源且不需要实时响应。
相关文章
相关标签/搜索