知识蒸馏，teacher and studenet 网络

最近在学习一些分类网络，发现现在直接使用新的网络结构提高整个分类准确度已经很难了，现在人们提出了各种新型的训练思路。我发现这个知识蒸馏训练的思路真的很好。我看完以后发现可以做的事很多。 知识蒸馏是利用从一个大型模型或模型集合中提取的知识来训练一个紧凑的神经网络。利用这些知识，我们可以在不严重影响紧凑模型性能的情况下，有效地训练小型紧凑模型。我们称大模型或模型集合为繁琐模型或教师网络，而称小而紧凑的

>>阅读原文<<