CS224n(winter 2019)笔记——Lecture2

接上节课没讲完的word2vec word2vec(续) 训练策略: SGD Word2vec使用SGD训练存在的问题: 每次只有窗口内的词会参与训练,梯度矩阵太稀疏,训练效率低。 优化方法: 1.negative sampling 转化为二分类问题 2.hierarchical softmax Glove 公式推导参考这里 词向量评估 词向量存在的问题 多义词
相关文章
相关标签/搜索