Group Transformer：实现轻量级的字符级语言模型

时间 2021-01-05

标签深度学习繁體版

原文原文链接

GROUP-TRANSFORMER: TOWARDS A LIGHTWEIGHT CHARACTER-LEVEL LANGUAGE MODEL INTRODUCTION 本文介绍了一种用于字符级语言建模的轻量级转换器。我们的方法是一种因式分解方法，它使用分组线性操作来分离transformer架构中的标准线性层，并在线性转换之间进行稀疏连接。该模型受到群卷积方法的启发，被称为Group Trans

>>阅读原文<<

1. ALBERT：轻量级BERT语言模型 ICLR2020
2. LightRNN —— 基于RNN的轻量级语言模型
3. 轻量级模型：MobileNet V2
4. 【NLP】语言模型、Transformer
5. 语言模型，bert，transformer，rnn
6. 轻量级文本标记语言-Markdown
7. 轻量级标记语言Asciidoc、Markdown
8. Markdown 轻量级标记语言
9. C语言字符串相关一级指针内存模型
10. 并发编程中的重重量级模型和轻量级模型
更多相关文章...
• Hibernate整合EHCache实现二级缓存 - Hibernate教程
• PHP 超级全局变量 - PHP教程
• ☆基于Java Instrument的Agent实现
• 委托模式

最新文章

1. 「插件」Runner更新Pro版，帮助设计师远离996
2. 错误 707 Could not load file or assembly ‘Newtonsoft.Json, Version=12.0.0.0, Culture=neutral, PublicKe
3. Jenkins 2018 报告速览，Kubernetes使用率跃升235%！
4. TVI-Android技术篇之注解Annotation
5. android studio启动项目
6. Android的ADIL
7. Android卡顿的检测及优化方法汇总（线下+线上）
8. 登录注册的业务逻辑流程梳理
9. NDK(1)创建自己的C/C++文件
10. 小菜的系统框架界面设计-你的评估是我的决策

本站公众号

欢迎关注本站公众号,获取更多信息

1. ALBERT：轻量级BERT语言模型 ICLR2020
2. LightRNN —— 基于RNN的轻量级语言模型
3. 轻量级模型：MobileNet V2
4. 【NLP】语言模型、Transformer
5. 语言模型，bert，transformer，rnn
6. 轻量级文本标记语言-Markdown
7. 轻量级标记语言Asciidoc、Markdown
8. Markdown 轻量级标记语言
9. C语言字符串相关一级指针内存模型
10. 并发编程中的重重量级模型和轻量级模型

>>更多相关文章<<