从RNN到XLnet

疫情期间,重新阅读了语言模型相关的论文,从RNN时代到XLNet,结合看得网络博文和视频,简单总结为如下一张图: 模型分为AE(AutoEncoder)类,如Transformer,BERT等,AR类(AutoRegression)类,如基于RNN、LSTM或其变种(ELMO)等,这种分类方式是XLNET中的分类方法,可以参考该论文。下面引用Recurrent.ai联合创始人杨植麟大神讲座中的PP
相关文章
相关标签/搜索