OpenAI GPT解读

背景 上篇我们讲了transformer的模型架构，论文《Attention is all you need》 也表明了transformer的效果是比RNN和CNN好的，而在ELMo解读里，我们也谈到了训练语言模型再结合具体任务即pre-train的思想，这两者的优势进行简单的结合便得到了OpenAI GPT，具体论文见《Improving Language Understanding by G

>>阅读原文<<