BERT家族：TinyBERT

TinyBERT

论文：《TINYBERT:DISTILLINGBERTFORNATURALLAN-GUAGEUNDERSTANDING》

论文地址：https://arxiv.org/pdf/1909.10351

作者/机构：华科+华为诺亚方舟实验室

年份：2019.9

TinyBert通过对Bert 编码器中的Transformer进行压缩，使用两段式学习框架在精度允许范围内节约了计算资源和推理速度。其改进点如下：

（1）Transformer蒸馏法

为了在加快推理速度和降低模型大小的同时保持准确率，作者提出了一种新颖的 transformer 蒸馏法，这是为基于 transformer 的模型专门设计的知识蒸馏（knowledge distillation，KD）方法。

这样做的目的是：Bert类的预训练语言模型通常计算开销大，内存占用也大，因此很难在一些资源紧张的设备上有效执行。通过这种新的 KD 方法，LargeBERT 模型中编码的大量知识可以很好地迁移到小型 TinyBERT 模型中，这对计算资源紧张的设备上运行是友好的。

（2）两段式学习框架

除了提出新的 transformer 蒸馏法之外，研究者还提出了一种专门用于 TinyBERT 的两段式学习框架，从而分别在预训练和针对特定任务的具体学习阶段执行 transformer 蒸馏。

这样做的目的是：TinyBERT 可以获取 LargeBERT 的通用和针对特定任务的知识。

更多NLP相关技术干货，请关注我的微信公众号【NLP有品】