word2vec中的subsampling和negative sampling

实现word2vec的skip-gram神经网络训练模型中，通过一个矩阵将输入的n维向量转化为m维向量，考虑到模型输入层和输出层的权重，会产生m*n*2个权重，一般词汇表长度n很大，name调整修正这么多权重使训练速度降低，同时需要大量的训练数据来调整权重防止过拟合，这样又增加了这个网络训练的复杂性。为了解决这个问题，Word2vec的作者又提出了三种方法： 1. 把常用的词组作为一个单词，例如n

>>阅读原文<<