FitNets: Hints for thin deep nets论文笔记

论文地址：https://arxiv.org/abs/1412.6550 github地址：https://github.com/adri-romsor/FitNets 这篇文章提出一种设置初始参数的算法，目前很多网络的训练需要使用预训练网络参数。对于一个thin但deeper的网络的训练，作者提出知识蒸馏的方式将另一个大网络的中间层输出蒸馏到该网络中作为预训练参数初始化网络。 Motivatio

>>阅读原文<<