BERT-of-Theseus：基于模块替换的模型压缩方法

©PaperWeekly 原创 · 作者｜苏剑林 学校｜追一科技 研究方向｜NLP、神经网络 最近了解到一种称为“BERT-of-Theseus”的 BERT 模型压缩方法，来自论文 BERT-of-Theseus: Compressing BERT by Progressive Module Replacing。这是一种以“可替换性”为出发点所构建的模型压缩方案，相比常规的剪枝、蒸馏等手段，它整

>>阅读原文<<