【星球知识卡片】模型蒸馏的核心技术点有哪些，如何对其进行长期深入学习...

大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享模型蒸馏的核心技术点。 作者&编辑 | 言有三 1 什么是模型蒸馏 一般地，大模型往往是单个复杂网络或者是若干网络的集合，拥有良好的性能和泛化能力，而小模型因为网络规模较小，表达能力有限。利用大模型学习到的知识去指导小模型训练，使得小模型具有与大模型相当的性能，但是参数数量大幅降低，从而可以实现模型压缩与加速，就是知识蒸馏与迁移学习在模型优化

>>阅读原文<<