文本表示(三)CBOW模型和Skip-gram模型

CBOW模型和Skip-gram模型 在前面提到的神经网络语言模型、c&W模型,都没有缺少隐藏层,而模型运算的高消耗都在输入层到隐藏层的矩阵运算中,如果能减少这部分开销,那么模型会更加高效。而CBOW模型和Skip-gram模型就属于这一类模型。 CBOW模型 CBOW模型的思想与c&w模型的思想类似:输入上下文词语,预测中心目标词。 与c&w模型以优化正样本与负样本之间的差异不同,CBOW模型仍
相关文章
相关标签/搜索