nlp自然语言处理之word2vec--cbow和skip gram讲解

1、模型结构——CBOW   输入层：上下文单词的onehot。单词向量空间dim为V，上下文单词个数为C 所有onehot分别乘以共享的输入权重矩阵W。V*N矩阵，N为自己设定的数，初始化权重矩阵W 所得的向量相加求平均作为隐层向量，size为1*N. 乘以输出权重矩阵W' 得到向量1*V激活函数处理得到V-dim概率分布，对应V个单词 概率最大的index所指示的单词为预测出的中间词与true

>>阅读原文<<