文献阅读笔记-ALBERT ： A lite BERT for self-supervised learning of language representations

0. 背景 机构：谷歌 作者： 发布地方：ICLR 2020 面向任务：自然语言理解 论文地址：https://openreview.net/pdf?id=H1eA7AEtvS 论文代码：暂未 0.1 摘要 预训练自然语言表征时，增加模型大小一般是可以提升模型在下游任务中的性能。但是这种纯粹依赖模型尺寸进而期望大力出奇迹的想法在未来会越发困难。进一步增加模型大小将带来以下困难：(1)GPU/TPU

>>阅读原文<<