【论文笔记electra】ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS

时间 2021-03-25

标签 NLP学习 NER论文解读 dnn 自然语言处理 pytorch 栏目 HTML 繁體版

原文原文链接

代码： https://huggingface.co/transformers/model_doc/electra.html ABSTRACT 论文提出了一种高效的基于抽样的预训练任务——替换标记检测。对于一些可以被替换的tokens，用一个小生成网络（generator network ）抽样出token进行替换。接着，作者没有用模型从原始语料库中预测这些被替换的词，而是训练了一个判别模型（

>>阅读原文<<

1. 文献阅读笔记electra: pre-training text encoders as discriminators rather than generators
2. 《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》（ICLR-2020）论文阅读
3. 阅读笔记 -- ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
4. ELECTRA论文阅读笔记
5. ELECTRA
6. ICLR 2020|ELECTRA
7. ALBERT 与ELECTRA，小排量的大飞机
8. BERT家族：ELECTRA
9. Konektatbed Electra 6.20 1CD
10. ELECTRA模型精讲
更多相关文章...
• SVG - SVG 教程
• ASP.NET Razor - 标记 - ASP.NET 教程
• Tomcat学习笔记（史上最全tomcat学习笔记）
• Scala 中文乱码解决

最新文章

1. vs2019运行opencv图片显示代码时，窗口乱码
2. app自动化 - 元素定位不到？别慌，看完你就能解决
3. 在Win8下用cisco ××× Client连接时报Reason 422错误的解决方法
4. eclipse快速补全代码
5. Eclipse中Java/Html/Css/Jsp/JavaScript等代码的格式化
6. idea+spring boot +mabitys(wanglezapin)+mysql (1)
7. 勒索病毒发生变种新文件名将带有“.UIWIX”后缀
8. 【原创】Python 源文件编码解读
9. iOS9企业部署分发问题深入了解与解决
10. 安装pytorch报错CondaHTTPError：******

本站公众号

欢迎关注本站公众号,获取更多信息

1. 文献阅读笔记electra: pre-training text encoders as discriminators rather than generators
2. 《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》（ICLR-2020）论文阅读
3. 阅读笔记 -- ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
4. ELECTRA论文阅读笔记
5. ELECTRA
6. ICLR 2020|ELECTRA
7. ALBERT 与ELECTRA，小排量的大飞机
8. BERT家族：ELECTRA
9. Konektatbed Electra 6.20 1CD
10. ELECTRA模型精讲

>>更多相关文章<<