李宏毅-ELMO, BERT, GPT讲解笔记

背景知识 NLP 中词的表示 one-hot embedding(1-of-N Encoding) 缺点：词汇之间的关联没有考虑，因为不同词之间的距离都是一样的 word class word embedding(word2vec) 缺点：一词多义的问题无法解决 Have you paid that money to the bank yet? They stood on the river ba

>>阅读原文<<