ALBERT详解

BERT的问题 BERT 发布后，在排行榜上产生了许多 NLP 任务的最新成果。但是，模型非常大，导致了一些问题。"ALBERT"论文将这些问题分为两类： 内存限制 考虑一个包含一个输入节点，两个隐藏节点和一个输出节点的简单神经网络。即使是这样一个简单的神经网络，由于每个节点有权重和偏差，因此总共有7个参数需要学习 BERT-large是一个复杂的模型，它有24个隐藏层，在前馈网络和多头注意力机制

>>阅读原文<<