Distilling the Knowledge in a Neural Network[论文阅读笔记]

本文是Hinton大神在网络压缩与迁移学习方向挖的一个坑 原文链接Distilling the Knowledge in a Neural Network  这种方法感觉受到了ensemble的启发，利用大型（teacher net）网络提取先验知识，将这种先验知识作为soft target让微型网络（student network）学习,有点像Boost中第一个分类器学到后调整weight让第二

>>阅读原文<<