Word2vec、Bert、Transformer

Word2vec 模型分类 跳字模型 在跳字模型中，我们用一个词来预测它在样本序列周围的词。例如，给定文本序列 the、man、hit、this和son,跳字模型所关心的是，给定它的邻近词the、man、this 和 son 的概率。在这个例子中，hit叫中心词，the、man、his、son叫做背景词。 假设词典大小为 T T T,使用独热向量表示词典中的每个词，当窗口大小为m时，跳字模型需要最

>>阅读原文<<