NLP基础（八）：ELMO和GPT模型

1.ELMO ELMO（Embedding from Language Model）是一种基于LSTM的词向量的生成方式，采用两个单向LSTM。词向量的表示基于当前的句子上下文，高层LSTM捕捉上下文的词特征（语义），底层LSTM捕捉句法层次信息（语法）。网络架构如下图： 其中，前向语言模型： 后向语言模型： 目标函数最大化： 优点是解决了一词多义，在一些任务上有提升。 缺点是LSTM串行，训练成

>>阅读原文<<