word2Vec学习笔记

Word2Vec学习笔记 一、n-gram语言模型 1.1 n-gram语言模型介绍 自然语言是一个连续的概率模型，当前位置出现哪个词和这个词前面出现了哪些词是紧密关联的，如在前面出现了“我爱自然语言”后面就有很大概率出现“处理”这个词。但是若将词与它前面的所有词进行关联，又会使计算量过大，为简化计算，将当前词出现的概率仅仅和该词前面出现的n个词进行关联，这就产生了n-gram语言模型，公式表达如

>>阅读原文<<