Word Embedding

个人理解embedding是为了降维 One hot编码有很多无意义的值 我们知道训练神经网络就是要学习每个连接线的权重。如果只看第一层的权重,下面的情况需要确定43个连接线的关系,因为每个维度都彼此独立,girl的数据不会对其他单词的训练产生任何帮助,训练所需要的数据量,基本就固定在那里了。 我们这里手动的寻找这四个单词之间的关系 [公式] 。可以用两个节点去表示四个单词。每个节点取不同值时的意
相关文章
相关标签/搜索