ICLR 2020|ELECTRA
MLM（Masked language modeling）方式的预训练语言模型如BERT是在输入上用[MASK]遮蔽掉部分tokens，再训练一个模型以重建出原始的tokens。这种方式迁移到下游NLP任务时能够得到较好的结果，已然成为NLP任务中的标配。但是这种预训练方法往往需要大量的算力。为此，本文提出一种样本效率更为高效的预训练任务：替换token检测（replaced token dete
相关文章
- 1. MaskGAN（2018-ICLR）
- 2. ICLR 2018 BEST PAPER
- 3. big code: Neural Code Completion [ICLR 2017]
- 4. [ICLR'17] DEEPCODER: LEARNING TO WRITE PROGRAMS
- 5. ICLR 2020| NAS evaluation is frustratingly hard
- 6. 图上的预训练 ICLR 2020
- 7. 读书笔记8：Graph Attention Networks（ICLR 2018)
- 8. [论文笔记][ICLR-2019] Slimmable Neural Networks
- 9. ICLR 2020 | 浅谈GNN：能力与局限
- 10. ICLR认知科学@AI workshop一览
- 更多相关文章...
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. MaskGAN（2018-ICLR）
- 2. ICLR 2018 BEST PAPER
- 3. big code: Neural Code Completion [ICLR 2017]
- 4. [ICLR'17] DEEPCODER: LEARNING TO WRITE PROGRAMS
- 5. ICLR 2020| NAS evaluation is frustratingly hard
- 6. 图上的预训练 ICLR 2020
- 7. 读书笔记8：Graph Attention Networks（ICLR 2018)
- 8. [论文笔记][ICLR-2019] Slimmable Neural Networks
- 9. ICLR 2020 | 浅谈GNN：能力与局限
- 10. ICLR认知科学@AI workshop一览