NLP的一些大杂烩

1、训练词向量的时候 输入A 预测A的下一个词是什么，如果词表特别大的话，达到5000的话，那么相当于一个5万分类的任务，所以可以将其改变输入AB两个词，预测B是A词下一个词的概率。因为语料中所有的上下文中的输出标签都是1，所以要自己构造target为0 的输入样例，其实，这就是负采样的原理。word2vector是无监督的，所以也不用自己打标签times 2、LSTM 读数据---每个词转换成I

>>阅读原文<<