Word2Vec解读

背景 从上一章神经网络语言模型(NNLM)我们了解到，他的优点相比传统的统计语言模型，首次引入词向量word embedding的概念，将离散的统计模型转为了高维空间中的连续稠密向量，解决了传统统计语言模型的平滑问题，并且将Ngram的复杂度的指数增长转为了线性，并且N元组共现未必相似问题也得到一定的解决。但是NNLM由于前馈全链接层网络加上look-up table后参数量过于庞大，训练时间很慢

>>阅读原文<<