基于交叉可视训练的半监督序列建模

背景 半监督学习结合迁移学习是一个研究热点，预训练表征与多种形式的半监督学习是互补的。 这篇论文（具有交叉视训练的半监督序列建模(Semi-Supervised Sequence Modeling with Cross-View Training)），思想是确保对不同输入视图预测与主模型的预测一致，这和word dropout类似，允许利用未标注数据来加强模型的鲁棒性。与mean teacher等

>>阅读原文<<