ELMo解读

背景 之前我们提到的NNLM和Word2Vec开辟了词向量的先河。仔细回顾，我们可以知道，为了解决统计语言模型存在的稀疏性，平滑等问题，NNLM运用神经网络对语言模型进行建模，采用输入若干个词预测下一个词，结果发现第一层的embedding vector可以很好的反应词的语义在空间上的表达，因此NNLM是语言模型，词向量是副产物。对于word2vec同样如此，相比NNLM, word2vec做了多

>>阅读原文<<