Stanford 深度自然语言处理 学习笔记（三）

归一化因子的计算代价很大（softmax的分母部分）。Negative Sampling用sigmoid表概率。 主要的思路：对一对实际的词对（一个中心词及一个窗口内的其他词）和一些随机的词对（一个中心词及一个随机词）训练二元逻辑回归模型（参见 这篇文章）   保证一些出现比较少的词可以被尽可能多的抽样      （参见寒小阳博客） 这里的  表示“错误的”或者“负面的”语料库。我们可以从词库中随

>>阅读原文<<