GloVe: Global Vectors for Word Representation必记

关于算法原理参考： 下面是 Relation with skip gram skip gram: 接下来在整个corPus 中训练： 但在vast corpus 难以求所有的 Q i , j Q_{i,j} Qi,j​，采用近似 但对于两分布中的交叉熵损失是有弊端的：即低概率高权值 并且上式中的 Q i , j Q_{i,j} Qi,j​还是难以normalized,因此 不归一化带来的问题是 Q

>>阅读原文<<