比 Bert 体积更小速度更快的 TinyBERT

本文作者：chenchenliu&winsechang，腾讯 PCG 内容挖掘工程师 TinyBERT 是华为不久前提出的一种蒸馏 BERT 的方法，本文梳理了 TinyBERT 的模型结构，探索了其在不同业务上的表现，证明了 TinyBERT 对复杂的语义匹配任务来说是一种行之有效的压缩手段。 一、简介 在 NLP 领域，BERT 的强大毫无疑问，但由于模型过于庞大，单个样本计算一次的开销动辄上

>>阅读原文<<