Bert
每个block的参数不共享，独立学习 介绍了Transformer，下一个就是Bert，一个巨大成功的预训练模型，上图 Bert全名为Bidirectional Encoder Representations from Transformers，E1...En是单个字或者词，大部分都是字为单位，Trm是一个transformer，T1...Tn是最终计算的隐藏层。因为再注意力矩阵中每个词都能学习到
相关文章
- 1. BERT家族：sentence-BERT
- 2. BERT家族：K-BERT
- 3. BERT家族：BERT-WWM
- 4. BERT
- 5. bert
- 6. BERT家族：族长BERT
- 7. BERT 服务化 bert-as-service
- 8. NLP---BERT
- 9. Task10 BERT
- 10. Transformer & Bert
- 更多相关文章...
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. BERT家族：sentence-BERT
- 2. BERT家族：K-BERT
- 3. BERT家族：BERT-WWM
- 4. BERT
- 5. bert
- 6. BERT家族：族长BERT
- 7. BERT 服务化 bert-as-service
- 8. NLP---BERT
- 9. Task10 BERT
- 10. Transformer & Bert