Reformer:高效的Transformer

时间 2020-12-28

标签深度学习繁體版

原文原文链接

导读：Transformer模型已经在许多任务上取得了令人欣喜的成绩，但是当扩展到更长的上下文窗口时会遇到许多限制。更大的上下文窗口意味着模型能力变得更加强大，但也会让其变得不够高效，消耗更多的内存。来自Google AI团队最新的Reformer模型结合了两个至关重要的技术来解决限制Transformer应用到长上下文窗口的注意力和内存分配的问题。作者：Nikita Kitaev, Lukas

>>阅读原文<<

1. Reformer: 高效的Transformer
2. 图解Reformer：一种高效的Transformer
3. Reformer: The Efficient Transformer
4. 图解 Reformer: The efficient Transformer
5. Transformer家族3 -- 计算效率优化（Adaptive-Span、Reformer）
6. ReFormer论文解读（THE EFFICIENT TRANSFORMER）
7. ICLR2020论文阅读笔记reformer: THE EFFICIENT TRANSFORMER
8. Funnel-Transformer：让Transformer更高效地处理长序列
9. transformer详解：transformer/ universal transformer/ transformer-XL
10. 【Transformer】图解 Transformer
更多相关文章...
• SVG 模糊效果 - SVG 教程
• XML DOM 高级 - XML 教程
• 漫谈MySQL的锁机制
• 互联网组织的未来：剖析GitHub员工的任性之源

最新文章

1. Duang!超快Wi-Fi来袭
2. 机器学习-补充03 神经网络之**函数(Activation Function)
3. git上开源maven项目部署多module maven项目（多module maven+redis+tomcat+mysql）后台部署流程学习记录
4. ecliple-tomcat部署maven项目方式之一
5. eclipse新导入的项目经常可以看到“XX cannot be resolved to a type”的报错信息
6. Spark RDD的依赖于DAG的工作原理
7. VMware安装CentOS-8教程详解
8. YDOOK：Java 项目 Spring 项目导入基本四大 jar 包导入依赖，怎样在 IDEA 的项目结构中导入 jar 包导入依赖
9. 简单方法使得putty（windows10上）可以免密登录树莓派
10. idea怎么用本地maven

本站公众号

欢迎关注本站公众号,获取更多信息

1. Reformer: 高效的Transformer
2. 图解Reformer：一种高效的Transformer
3. Reformer: The Efficient Transformer
4. 图解 Reformer: The efficient Transformer
5. Transformer家族3 -- 计算效率优化（Adaptive-Span、Reformer）
6. ReFormer论文解读（THE EFFICIENT TRANSFORMER）
7. ICLR2020论文阅读笔记reformer: THE EFFICIENT TRANSFORMER
8. Funnel-Transformer：让Transformer更高效地处理长序列
9. transformer详解：transformer/ universal transformer/ transformer-XL
10. 【Transformer】图解 Transformer

>>更多相关文章<<