Transformer

时间 2020-12-22

标签 NLP知识点繁體版

原文原文链接

本文章参考以下博客，如有不懂，可看原博客参考文章1 参考文章2 整体架构 Transformer其实是一个Seq2Seq模型，左边一个encoder把输入读进去，右边一个decoder得到输出 Encoder(N=6层，每层包括2个layers) 主要是由self-attention和前馈神经网络构成全连接有两层，第一层的激活函数是ReLU，第二层是一个线性激活函数，可以表示为： Transf

>>阅读原文<<

1. transformer详解：transformer/ universal transformer/ transformer-XL
2. 【Transformer】图解 Transformer
3. transformer
4. Transformer
5. Transformer++
6. 学习Transformer（The Illustrated Transformer）
7. Transformer & Bert
8. 读Transformer
9. Transformer LambdaNetworks
10. Star-Transformer
更多相关文章...
• RxJava操作符（十）自定义操作符
• ☆基于Java Instrument的Agent实现