NLP模型笔记 — 分布式表示
时间 2020-12-23
标签
笔记
NLP
模型
nlp
NLP模型笔记 — 分布式表示 [总结]
概念
| 名称 |
分布式表示 |
| 别名 |
Distributed representation |
| 介绍 |
若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量。 |
原理
非分布式表示
| 图形 |
水平矩形 |
垂直矩形 |
水平椭圆 |
垂直椭圆 |
| 水平矩形 |
1 |
0 |
0 |
0 |
| 垂直矩形 |
0 |
1 |
0 |
0 |
| 水平椭圆 |
0 |
0 |
1 |
0 |
| 垂直椭圆 |
0 |
0 |
0 |
1 |
分布式表示
| 图形 |
水平 |
垂直 |
矩形 |
椭圆 |
| 水平矩形 |
1 |
0 |
1 |
0 |
| 垂直矩形 |
0 |
1 |
1 |
0 |
| 水平椭圆 |
1 |
0 |
0 |
1 |
| 垂直椭圆 |
0 |
1 |
0 |
1 |
表示新种类
| 非分布式表示 |
水平矩形 |
垂直矩形 |
水平椭圆 |
垂直椭圆 |
圆 |
| 水平矩形 |
1 |
0 |
0 |
0 |
0 |
| 垂直矩形 |
0 |
1 |
0 |
0 |
0 |
| 水平椭圆 |
0 |
0 |
1 |
0 |
0 |
| 垂直椭圆 |
0 |
0 |
0 |
1 |
0 |
| 圆 |
0 |
0 |
0 |
0 |
1 |
| 分布式表示 |
水平 |
垂直 |
矩形 |
椭圆 |
| 水平矩形 |
1 |
0 |
1 |
0 |
| 垂直矩形 |
0 |
1 |
1 |
0 |
| 水平椭圆 |
1 |
0 |
0 |
1 |
| 垂直椭圆 |
0 |
1 |
0 |
1 |
| 圆 |
1 |
1 |
0 |
1 |
对比
| 对比 |
独热编码 |
分布式表示 |
| 稀疏/稠密 |
稀疏 |
稠密 |
| 语义表示 |
高纬向量中只有一个维度描述了词的含义 |
语义分布式地存储在向量的各个维度中 |
| 新种类 |
需要添加一个新的维度 |
可能不需要添加新维度就能够表示 |
参考
分布式表示
含义/对比