BERT轻量化探索—模型裁剪（BERT Pruning）—层数裁剪

继BERT维度剪枝以后，尝试了BERT层数暴力裁剪，直接剪掉若干层。app 试验结果：rest          结论：训练提高40%左右、效果降低1.2%，推断速度提高50%。 代码参考 ： 最简单的模型轻量化方法：20行代码为BERT剪枝   https://cloud.tencent.com/developer/article/1542897， 可是进行了一些调整。code 1）首先，将谷歌

>>阅读原文<<