一文揭开ALBERT的神秘面纱

本文是我对ALBERT论文的一个总结归纳，如有理解上的偏差、错误欢迎大家指正批评，感谢。 前言 RoBERTa没霸榜几天，这不Google爸爸就又放大招，这次的新模型不再是简单的的升级，而是采用了全新的参数共享机制，反观其他升级版BERT模型，基本都是添加了更多的预训练任务，增大数据量等轻微的改动。这次ALBERT的改进，不仅提升了模型的整体效果再一次拿下来各项榜单的榜首，而且参数量相比BERT来

>>阅读原文<<