Task2-GloVe原理介绍

Task2-Word Vectors and Word Senses 1.skipgram、cbow回顾 使用skipgram和cbow两种模型进行词向量预训练,我们会发现Word2Vec模型是一个超级大的神经网络(权重矩阵规模非常大)。举个栗子,我们拥有10000个单词的词汇表,我们如果想嵌入200维的词向量,那么我们的输入-隐层权重矩阵和隐层-输出层的权重矩阵都会有 10000 x 200 =
相关文章
相关标签/搜索