Word2Vec-Tutorial-Part-2-Negative-Sampling

重点 词组检测 多轮操作,每一轮操作只处理2元词组, 如果词组出现的概率不低,而且相对构成词组的每个词的概率也不低,则可以当作一个词组 训练样本下采样 定义了一个基于词频的曲线,出现频率低的样本不参与下采样, 出现频率越高,被下采样的概率越高 Negative sampling 原理上每个训练样本输出是10000维的one-hot编码, 只有一个是1,其他0, 可能会影响到所有输出层权重(300

>>阅读原文<<