cs224n笔记04-Contextual Word Embeddings

上下文相关的词嵌入 静态词向量的没个词有一个唯一的向量表示,即使具有多个含义的词也只能有一种表达方式。但是上下文相关的词嵌入可以解决一词多义的问题。比较常见的动态词向量训练方法有elmo、bert等 bert使用的是transformer的encoder,任务是mask语言模型和NSP(预测下一个句子) bert的fine-tuning训练方式
相关文章
相关标签/搜索