Google | 突破瓶颈，打造更强大的Transformer

一只小狐狸带你解锁炼丹术&NLP秘籍 作者：苏剑林 (来自追一科技，人称“苏神”) 前言 《Attention is All You Need》一文发布后，基于Multi-Head Attention的Transformer模型开始流行起来，而去年发布的BERT模型更是将Transformer模型的热度推上了又一个高峰。当然，技术的探索是无止境的，改进的工作也相继涌现：有改进预训练任务的，比如XL

>>阅读原文<<