CS224N笔记 第二讲 词向量的表示word2vec

记录一下几个比较重要的问题防止自己忘记。 skip-grams模型 Predict context words given target (position independent)。由目标向量 来推导出上下文词的概率。 定义一个大小为2m的窗口，有一个中心词，左右各为M个词。 下面就是目标函数，最大似然概率，就是让这2m个词成为中心词的概率最大化。这里连乘自然默认这些词是独立同分布的，但是上下文

>>阅读原文<<