ALBERT 思想简介

      前段时间简单看了下 ALBERT 的paper(ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS)， 简单记录下论文的思想，穿插一点点个人想法。       1  背景         1.1 从BERT以来，NLP的预训练模型变得越来越大，占用的 GPU/TPU显存越来越高。  

>>阅读原文<<