1.Efficient Estimation of Word Representations in Vector Space

一，语言模型 【定义】：预测每个句子在语言中出现的概率（预测句子在语言中的概率,合法的句子概率较高） 仅仅是对句子出现的概率进行建模，并不会去理解句子的意思 【例子】: 【问题】：每计算一个句子在语言模型中的概率会将整个句子所有可能出现的概率进行乘积 这样会导致参数过多和过于稀疏，因为一个长句子出现的特异性概率是很小的 提出基于马尔科夫假设： 【n-gram】： 二，词向量 【独热编码】： 【分布

>>阅读原文<<