Skip-Gram

Skip-Gram是一种词嵌入模型，模型的结构如下所示： 该模型是根据中心词计算上下文词，概率为 每一个单词有两个词向量，一个是作为中心词时的向量，一个是作为上下文词时的向量，公式中v是作为中心词时候的向量，u是作为上下文词时的向量。该概率的分子是中心词与某一个词的相似度，分母是中心词与字典中所有词的相似度的和。 用softmax的原因是，有的内积为负数，但是概率不可能为负数，所以用指数，让所有的

>>阅读原文<<