BERT

利用了真双向的Transformer 为了利用双向信息,改进了普通语言模型成为完形填空式的Mask-LM(Mask-Language Model) 利用Next Sentence Prediction任务学习句子级别信息 进一步完善和扩展了GPT中设计的通用任务框架,使得BERT能够支持包括:句子对分类任务、单句子分类任务、阅读理解任务和序列标注任务 Transformer Encoder因为有S
相关文章
相关标签/搜索