亚马逊：我们提取了BERT的一个最优子架构，只有Bert-large的16%，CPU推理速度提升7倍...

选自arXiv 作者：Adrian de Wynter、Daniel J. Perry 机器之心编译 机器之心编辑部 提取 BERT 子架构是一个非常值得探讨的问题，但现有的研究在子架构准确率和选择方面存在不足。近日，来自亚马逊 Alexa 团队的研究者细化 BERT 子架构提取过程，并提取了一个最优子架构 Bort，它的大小仅为 BERT-large 的 16%，CPU 上的推理速度却提升到了原

>>阅读原文<<