李宏毅nlp学习笔记05：BERT

时间 2021-08-15

标签 nlp视频笔记繁體版

原文原文链接

1.Context Vector（考虑上下文关系的向量）： 2.self-supervised learning（自监督学习）： 3.预测下一个token：需要注意的是，输入w1来预测出w2的时候，是不能同时把w2输入的，很显然的。否则模型直接训练为与下一个输入相同即可。通过h1来得出输出为w1的方法，上图中的右侧为一种方法。最早的使用的model 是一个LSTM：现在一般使用的是self

>>阅读原文<<

1. 李宏毅nlp学习笔记14：Multi-lingual BERT
2. 李宏毅-ELMO, BERT, GPT讲解笔记
3. 李宏毅-ELMO、BERT、GPT视频笔记
4. 台大李宏毅机器学习—学习笔记05
5. 李宏毅nlp学习笔记04：bert和它的好朋友们
6. ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记
7. 李宏毅-ELMO, BERT, GPT
8. 李宏毅nlp学习笔记12：DST（Dialogue State Tracking）
9. 李宏毅nlp学习笔记13：GPT-3
10. 李宏毅nlp学习笔记09：Dependency parsing
更多相关文章...
• 您已经学习了 XML Schema，下一步学习什么呢？ - XML Schema 教程
• 我们已经学习了 SQL，下一步学习什么呢？ - SQL 教程
• Tomcat学习笔记（史上最全tomcat学习笔记）
• 适用于PHP初学者的学习线路和建议

最新文章

1. 安装cuda+cuDNN
2. GitHub的使用说明
3. phpDocumentor使用教程【安装PHPDocumentor】
4. yarn run build报错Component is not found in path “npm/taro-ui/dist/weapp/components/rate/index“
5. 精讲Haproxy搭建Web集群
6. 安全测试基础之MySQL
7. C/C++编程笔记：C语言中的复杂声明分析，用实例带你完全读懂
8. Python3教程(1)----搭建Python环境
9. 李宏毅机器学习课程笔记2：Classification、Logistic Regression、Brief Introduction of Deep Learning
10. 阿里云ECS配置速记

本站公众号

欢迎关注本站公众号,获取更多信息

1. 李宏毅nlp学习笔记14：Multi-lingual BERT
2. 李宏毅-ELMO, BERT, GPT讲解笔记
3. 李宏毅-ELMO、BERT、GPT视频笔记
4. 台大李宏毅机器学习—学习笔记05
5. 李宏毅nlp学习笔记04：bert和它的好朋友们
6. ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记
7. 李宏毅-ELMO, BERT, GPT
8. 李宏毅nlp学习笔记12：DST（Dialogue State Tracking）
9. 李宏毅nlp学习笔记13：GPT-3
10. 李宏毅nlp学习笔记09：Dependency parsing

>>更多相关文章<<