【BERT】BERT模型压缩技术概览

由于BERT参数众多，模型庞大，推理速度较慢，在一些实时性要求较高、计算资源受限的场景，其应用会受到限制。因此，讨论如何在不过多的损失BERT性能的条件下，对BERT进行模型压缩，是一个非常有现实意义的问题。 本文先介绍模型压缩的概念及常见方法；随后，对目前出现的BERT剪枝的技术做一个整体的介绍。在后面的文章中，挑选一些典型的例子再进行深度的介绍。 作者&编辑 | 小Dream哥 1 模型压缩 

>>阅读原文<<