在神经网络中提取知识：学习用较小的模型学得更好

在传统的机器学习中，为了获得最先进的（SOTA）性能，我们经常训练一系列整合模型来克服单个模型的弱点。 但是，要获得SOTA性能，通常需要使用具有数百万个参数的大型模型进行大量计算。 SOTA模型（例如VGG16 / 19，ResNet50）分别具有138+百万和23+百万个参数。 在边缘设备部署这些模型是不可行的。 智能手机和IoT传感器等边缘设备是资源受限的设备，无法在不影响设备性能的情况下进

>>阅读原文<<