word2vec Parameter Learning Explained笔记

目录 1.CBOW模型 2.Skip Gram模型 3.Hierarchical softmax 4.Negative Sampling 前言，下面公式多次用到的求导法则： sigmoid函数的导数具有以下形式： 1.CBOW模型 首先从输入输出都是一个词的模型讲起。 模型中词典大小为V，隐藏层规模为N，连接层为全连接，输入层为one-hot编码方式。对于一个特定词，词向量为x={x1，x2，…，

>>阅读原文<<