跨域预训练语言模型(XLM)

XLM来自于Facebook ai的论文《Cross-lingual Language Model Pretraining》。目前多数语言模型都是单语义（monolingual）模型，比如BERT、XLNET、google的T5等等。期望有一种语言模型可以实现多种语言的融合，然后在一种语言训练模型，通过XLM迁移到其他语言上。比如标注语料较多的英语，我们训练好EN-》DE的翻译模型，但是，像印地语

>>阅读原文<<