teacher-student 网络架构

最近看了几篇有关teacher-student架构的paper，感觉收获挺大的，今天就来总结一下。这个teacher-student模式架构主要的目的就是用来进行深度学习模型的压缩，属于model compression领域中的一种比较流行的做法。因为深度学习下为了能够获得更好的准确率，训练出的网络往往结构比价复杂，而对于一些在线预测任务来说，复杂的模型结构不利于线上预测任务的快速响应需求，因此模

>>阅读原文<<