蒸馏神经网络(Distill the Knowledge in a Neural Network) 论文笔记

本文是阅读Hinton 大神在2014年NIPS上一篇论文:蒸馏神经网络的笔记,特此说明。此文读起来很抽象,大篇的论述,鲜有公式和图表。但是鉴于和我的研究方向:神经网络的压缩十分相关,因此决定花气力好好理解一下。  1、Introduction   文章开篇用一个比喻来引入网络蒸馏:     昆虫作为幼虫时擅于从环境中汲取能量,但是成长为成虫后确是擅于其他方面,比如迁徙和繁殖等。 同理神经网络训练
相关文章
相关标签/搜索