Bert与GPT-2

在GPT出现后，谷歌18年推出了Bert，19年时openAI又推出了GPT-2   一、共同点 Bert和GPT-2都采用的是transformer作为底层结构~ 效果都惊人的好 二、差异 语言模型：Bert和GPT-2虽然都采用transformer，但是Bert使用的是transformer的encoder，即：Self Attention，是双向的语言模型；而GPT-2用的是transfo

>>阅读原文<<