one-hot到word2vec到bert的进化史(待完善)

本文仍是一篇不讲具体原理细节的博客，只写一些3者之间的区别优劣问题，建议先搞懂原理再看，有疑问或者有新的看法，欢迎留言提出。git word2vec和embedding梳理github 1. 从one-hot开始 优势：一是解决了分类器很差处理离散数据的问题，二是在必定程度上也起到了扩充特征的做用。web 缺点：在文本特征表示上有些缺点就很是突出了。首先，它是一个词袋模型，不考虑词与词之间的顺序（

>>阅读原文<<