teacher-student network

最近读到一篇文章《An On-device Deep Neural Network for Face Detection》，讲的是苹果如何将基于深度学习的人脸识别方法应用到iPhone上，同时解决多任务并行及能耗的问题。文中提到了一个teacher-student network的概念。概括地讲，就是用一个更宽更复杂的，但是已经训练好的神经网络（教师网络），去训练另一个窄而深的网络（学生网络）。

>>阅读原文<<