Big Bird: Transformers for Longer Sequences论文详解

文章目录 Big Bird大鸟模型 论文要解决问题 解决方法 随机注意力 固定窗口注意力 全局注意力 复杂度分析 实验 三种注意力的消融实验。 语言模型对比roberta、longformer QA问题中对比longformer 长文本分类任务 文章摘要任务 基因语言模型实验 如有问题欢迎指出，参考论文https://arxiv.org/abs/2007.14062 Big Bird大鸟模型 论文

>>阅读原文<<