BERT-of-Theseus:基于模块替换的模型压缩方法

©PaperWeekly 原创 · 作者|苏剑林 学校|追一科技 研究方向|NLP、神经网络 最近了解到一种称为“BERT-of-Theseus”的 BERT 模型压缩方法,来自论文 BERT-of-Theseus: Compressing BERT by Progressive Module Replacing。这是一种以“可替换性”为出发点所构建的模型压缩方案,相比常规的剪枝、蒸馏等手段,它整
相关文章
相关标签/搜索