知识蒸馏方法的演进历史综述

作者：Nishant Nikhil 编译：ronghuaiyang 导读 带你了解知识蒸馏的演进历史。 历史 2012年，AlexNet在ImageNet数据上的表现超过了所有现有模型。神经网络即将被广泛采用。到2015年，许多SOTA都被打破了。业界的趋势是在你能找到的任何场景上都使用神经网络。VGG Net的成功进一步肯定了采用可以使用更深层次模型或模型集成来提高性能。 (模型集合只是一个花哨

>>阅读原文<<