完胜 BERT，谷歌最佳 NLP 预训练模型开源
2020-03-16 19:35 导语：小模型高精度，效率显著优于 MLM。 按：近日，谷歌宣布将 AI 语言模型 ELECTRA 作为 TensorFlow 之上的开源模型发布。该方法用到了一种称为替换令牌检测（RTD）的新预训练任务，使其能够在从所有输入位置学习的同时，训练双向模型。 并且，在同等计算资源的情况下，ELECTRA 的性能优于现有方法；而在参数量只有 1/30 的情况下，取得不逊
相关文章
- 1. 谷歌NLP BERT
- 2. NLP预训练模型
- 3. ELECTRA：超越BERT，2019年最佳NLP预训练模型
- 4. ELECTRA: 超越BERT, 19年最佳NLP预训练模型
- 5. 谷歌BERT预训练源码解析（二）：模型构建
- 6. ELECTRA: NLP预训练模型
- 7. 谷歌最强 NLP 模型 BERT 解读
- 8. 解读谷歌最强 NLP 模型 BERT：模型、数据和训练
- 9. 谷歌官宣：全面超越人类的最强 NLP 预训练模型 BERT 开源了！
- 10. 完胜BERT！NLP预训练利器：小模型也有高精度，单个GPU就能训练
- 更多相关文章...
- • ASP.NET MVC - 模型 - ASP.NET 教程
- • Docker 资源汇总 - Docker教程
- • PHP Ajax 跨域问题最佳解决方案
- • 委托模式
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
