[深度学习] 天然语言处理 --- ALBERT 介绍

1、简介 随着Transfomer结构的普及，一时间大语料、大参数量的预训练模型成为主流。当在实际部署BERT等模型时，每每须要使用蒸馏、压缩或其余优化技术对模型进行处理。git ALBERT模型来自论文 Google 最近公布的论文 《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》从名字就

>>阅读原文<<