【推荐系统】知识蒸馏概述

一、 知识蒸馏是什么 知识蒸馏主要处理的是模型的有效性和效率之间的平衡问题： 模型越来越深、越来越复杂，导致模型上线后相应速度太慢，无法满足系统的低延迟要求。 知识蒸馏就是目前一种比较流行的解决此类问题的技术方向。 一般为teacher-student模式，主要思想是用一个复杂的、较大的teacher model去指导简单的、较小的student model的学习。 线上使用的是student小模

>>阅读原文<<