bert

1. 概述 通过预训练语言表征完成NLP任务主要分为两大类：feature-base、fine-tuning。前者如ELMo，它将学习的表征作为feature提供给下面的任务，下游任务提供模型；后者如Open GPI、ULMFiT，它们在fine tune预训练中学习到参数，不需要下游提供task-specific的模型。这两类在预训练时都使用了同样的目标函数，同时也都使用了单向的语言模型。 这些

>>阅读原文<<