理解Transformers/Bert中的一些笔记
Transformers Transformers相较于LSTM的好处就是能够将整个句子作为input来处理，依靠attention来理解词与词之间的关系，但是相对应的坏处就是失去了词的顺序这个重要的信息，意思也就是input sentence的词的顺序可以随意颠倒，也不会什么影响，所以需要额外的将词的positional information给嵌入(encode)到模型中。具体嵌入的方法有很多
相关文章
- 1. 关于frcnn的一些笔记整理……
- 2. 关于CAP理论的一些笔记
- 3. mybatis笔记3 一些原理的理解
- 4. 一些笔记
- 5. oracle中的一些函数笔记
- 6. 学Python中的一些笔记
- 7. javascript 的一些理解和随笔
- 8. Jenkins的一些笔记
- 9. 贴一些 Python 的笔记
- 10. Dialog的一些小笔记
- 更多相关文章...
- • Spring中Bean的作用域 - Spring教程
- • 现实生活中的 XML - XML 教程
- • Tomcat学习笔记（史上最全tomcat学习笔记）
- • Scala 中文乱码解决
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 关于frcnn的一些笔记整理……
- 2. 关于CAP理论的一些笔记
- 3. mybatis笔记3 一些原理的理解
- 4. 一些笔记
- 5. oracle中的一些函数笔记
- 6. 学Python中的一些笔记
- 7. javascript 的一些理解和随笔
- 8. Jenkins的一些笔记
- 9. 贴一些 Python 的笔记
- 10. Dialog的一些小笔记