第四节:ALBERT

目录 回顾BERT 1. 降低模型参数,加宽加深模型 2. 改进NSP任务为SOP 3. 去掉dropout 4. 增加训练数据 总结 最近在家听贪心学院的NLP直播课。放到博客上作为NLP 课程的简单的梳理。 简介:虽然BERT模型本身是很有效的,但这种有效性依赖于大量的模型参数,所以训练一套BERT模型所需要的时间和资源成本是非常大的,甚至这样复杂的模型也会影响最终效果。在本次讲座里,我们重点
相关文章
相关标签/搜索