NLP基础之——Subword Model

一、word-level Model(基于词级模型) 使用基于单词的模型时需要处理规模庞大的词汇表,例如Word2Vec和 glove,是利用word embedding的方法来得到每一个word的vec,这种方法需要去处理规模庞大的词汇表。 这种方式虽然效果不错,但是对于单词而言,只要稍微做些改变就是另一个单词了。 存在的一些问题: 1.容易出现单词不存在于词汇库中的情况,也就是 OOV(out
相关文章
相关标签/搜索