Star-Transformer

【精简Transformer】Star-Transformer  本文是复旦大学发表于NAACL 2019的工作。文章的主要贡献在于精简transformer，增强了在modestly size datasets上的表现。精简思路非常清晰且具有可解释性质，消解实验和对比实验也很有针对性。   摘要 虽然transformer在很多NLP任务上都取得了很大的成功，但是它的结构很重，注意力连接是完全连

>>阅读原文<<