transformer---李宏毅

时间 2020-12-24

标签 Artificial Neural Networks 繁體版

原文原文链接

什么是transformer？对于seq2seq模型，我们常用的是RNN，但我们所使用的RNN是按照时间步去计算的，缺少并行性，当我们的训练集很庞大时，我们的训练时间要很久，而李宏毅老师在视频里讲到，有人提出用CNN去替代RNN，如下图，左图为双向RNN，而右图为CNN去训练序列我们看到右图中使用CNN对序列进行特征的提取，图中每一个三角形代表一个filter，我们第一层提取相邻的序列单词的特征

>>阅读原文<<

1. 李宏毅——transformer
2. 2.Spatial Transformer Layer（李宏毅）
3. 李宏毅学习笔记15.Transformer
4. 李宏毅《Deep Learning》学习笔记 - transformer
5. Transformer|深度学习（李宏毅）（八）
6. 李宏毅：spatial transformer （空间变换）
7. 【李宏毅】RNN
8. 李宏毅__ML_Notes_4.21
9. 李宏毅__ML_Notes_5.11
10. 【李宏毅】CNN
更多相关文章...
• R 数据框 - R 语言教程
• 错误处理 - RUST 教程
• RxJava操作符（十）自定义操作符
• ☆基于Java Instrument的Agent实现