FastBERT：具有自适应推断时间的自蒸馏BERT

FastBERT: a Self-distilling BERT with Adaptive Inference Time 写在前面： 这是北大+腾讯+北师大的ACL2020。作者提出了一种新的inference速度提升方式，sample-wise adaptive mechanism，相比单纯的student蒸馏有更高的确定性，且可以自行权衡效果与速度，简单实用。这篇论文的方法可以说就是为了解决

>>阅读原文<<