李宏毅nlp学习笔记04：bert和它的好朋友们
1.当下追求的模型： 输入文本，训练使得模型可以读懂文本，然后根据不同的任务微调模型！ 2.bert大家庭—芝麻街： 3.预训练： 把token用嵌入的向量表示。 针对英文系的前缀后缀等，有fasttext 中文的偏旁部首也能体现一定的意义： 为了表示相同字在不同词中的意思不同，现在的model都是输入整个句子之后，再给出每个token 的embedding。 即上下文。 这样的模型可以有哪些呢？
相关文章
- 1. 李宏毅nlp学习笔记05：BERT
- 2. 李宏毅nlp学习笔记14：Multi-lingual BERT
- 3. 李宏毅-ELMO, BERT, GPT讲解笔记
- 4. 李宏毅-ELMO、BERT、GPT视频笔记
- 5. ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记
- 6. 李宏毅2020机器学习04 - Classification
- 7. 李宏毅-ELMO, BERT, GPT
- 8. 李宏毅nlp学习笔记12：DST（Dialogue State Tracking）
- 9. 李宏毅nlp学习笔记13：GPT-3
- 10. 李宏毅nlp学习笔记09：Dependency parsing
- 更多相关文章...
- • 我们已经学习了 SQL，下一步学习什么呢？ - SQL 教程
- • 您已经学习了 XML Schema，下一步学习什么呢？ - XML Schema 教程
- • Tomcat学习笔记（史上最全tomcat学习笔记）
- • 适用于PHP初学者的学习线路和建议
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 李宏毅nlp学习笔记05：BERT
- 2. 李宏毅nlp学习笔记14：Multi-lingual BERT
- 3. 李宏毅-ELMO, BERT, GPT讲解笔记
- 4. 李宏毅-ELMO、BERT、GPT视频笔记
- 5. ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记
- 6. 李宏毅2020机器学习04 - Classification
- 7. 李宏毅-ELMO, BERT, GPT
- 8. 李宏毅nlp学习笔记12：DST（Dialogue State Tracking）
- 9. 李宏毅nlp学习笔记13：GPT-3
- 10. 李宏毅nlp学习笔记09：Dependency parsing