4-3 item2vec依赖模型word2vec之skip gram数学原理介绍

1. 问题抽象 skip gram是已知中间词，最大化它相邻词的概率。 与CBOW的不同：CBOW的时候，是选取一次负采样；而这里对于中间词的上下文的每一个词，每一次都需要进行一个负采样。 下面看一下条件概率： 与之前的CBOW大体形式一样，不同之处： （1）隐含层输出的是中间词对应的词向量；而CBOW是输出的所有中间词上下文词向量对应的和； （2）theta：上下文的词，或者是上下文的词选出来的

>>阅读原文<<