对ALBERT的理解

ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS Google大大的BERT（https://arxiv.org/pdf/1906.08237.pdf） 在 2018 年年底通过预训练打败了 NLP 上 11 个任务的经典算法；XLNet 在 2019 年提出来通过双向网络的方法超过了 BERT

>>阅读原文<<