T5 模型：NLP Text-to-Text 预训练模型超大规模探索

相信大多 NLP 相关者，在时隔 BERT 发布近一年的现在，又被谷歌刚发布的 T5 模型震撼到了。又是一轮屠榜，压过前不久才上榜自家的ALBERT，登上 GLUE 榜首。 当然，最大的冲击还是财大气粗，bigger and bigger，但翻完它长达 34 页的论文，发现其中的分析无疑是诚意满满（都是钱）。类似这样的大型实验探索论文也有一些，首先提出一个通用框架，接着进行了各种比对实验，获得一套

>>阅读原文<<