NLP《词汇表示方法(四)负采样》

一:负采样 在CBOW和Skip-Gram模型中,最后输出的都是词汇的one-hot向量,假如我们的词汇表的数量是10000,嵌入空间的维度是300,再假设此时是以Skip-Gram模型只预测context内的单独一个word的模型为例,那么从隐藏层到输出层的参数数量是300 x 10000的。 每次的输出之前都要做softmax操作,对于如此庞大的词汇数量,计算softmax是很耗费时间的,不仅
相关文章
相关标签/搜索