Reformer:高效的Transformer

时间 2020-12-28

标签深度学习繁體版

原文原文链接

导读：Transformer模型已经在许多任务上取得了令人欣喜的成绩，但是当扩展到更长的上下文窗口时会遇到许多限制。更大的上下文窗口意味着模型能力变得更加强大，但也会让其变得不够高效，消耗更多的内存。来自Google AI团队最新的Reformer模型结合了两个至关重要的技术来解决限制Transformer应用到长上下文窗口的注意力和内存分配的问题。作者：Nikita Kitaev, Lukas

>>阅读原文<<

1. Reformer: 高效的Transformer
2. 图解Reformer：一种高效的Transformer
3. Reformer: The Efficient Transformer
4. 图解 Reformer: The efficient Transformer
5. Transformer家族3 -- 计算效率优化（Adaptive-Span、Reformer）
6. ReFormer论文解读（THE EFFICIENT TRANSFORMER）
7. ICLR2020论文阅读笔记reformer: THE EFFICIENT TRANSFORMER
8. Funnel-Transformer：让Transformer更高效地处理长序列
9. transformer详解：transformer/ universal transformer/ transformer-XL
10. 【Transformer】图解 Transformer
更多相关文章...
• SVG 模糊效果 - SVG 教程
• XML DOM 高级 - XML 教程
• 漫谈MySQL的锁机制
• 互联网组织的未来：剖析GitHub员工的任性之源

最新文章

1. 「插件」Runner更新Pro版，帮助设计师远离996
2. 错误 707 Could not load file or assembly ‘Newtonsoft.Json, Version=12.0.0.0, Culture=neutral, PublicKe
3. Jenkins 2018 报告速览，Kubernetes使用率跃升235%！
4. TVI-Android技术篇之注解Annotation
5. android studio启动项目
6. Android的ADIL
7. Android卡顿的检测及优化方法汇总（线下+线上）
8. 登录注册的业务逻辑流程梳理
9. NDK(1)创建自己的C/C++文件
10. 小菜的系统框架界面设计-你的评估是我的决策

本站公众号

欢迎关注本站公众号,获取更多信息

1. Reformer: 高效的Transformer
2. 图解Reformer：一种高效的Transformer
3. Reformer: The Efficient Transformer
4. 图解 Reformer: The efficient Transformer
5. Transformer家族3 -- 计算效率优化（Adaptive-Span、Reformer）
6. ReFormer论文解读（THE EFFICIENT TRANSFORMER）
7. ICLR2020论文阅读笔记reformer: THE EFFICIENT TRANSFORMER
8. Funnel-Transformer：让Transformer更高效地处理长序列
9. transformer详解：transformer/ universal transformer/ transformer-XL
10. 【Transformer】图解 Transformer

>>更多相关文章<<