elmo算法解析

2018年3月份提出ELMo(Embedding from Language models),模型通过对不同句子创建不同的词向量,进行动态调整,解决了之前工作2013年的word2vec及2014年的GloVe的多义词问题,可以称之为静态词向量。模型经过大量语料库预训练好之后 (context—before预测当前字,context—after预测当前字,而且不是同时的),使用预训练时,将任务实际
相关文章
相关标签/搜索