【译】深度双向Transformer预训练【BERT第一作者分享】

【译】深度双向Transformer预训练【BERT第一作者分享】 目录 NLP中的预训练 语境表示 语境表示相关研究 存在的问题 BERT的解决方案 任务一：Masked LM 任务二：预测下一句 BERT 输入表示 模型结构——Transformer编码器 Transformer vs. LSTM 模型细节 在不同任务上进行微调 GLUE SQuAD 1.1 SQuAD 2.0 SWAG 分析

>>阅读原文<<