谷歌新模型突破BERT局限：NLP版「芝麻街」新成员Big Bird长这样

公众号关注 “ML_NLP” 设为 “星标”，重磅干货，第一时间送达！ 萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 最新消息，谷歌推出了NLP系列「芝麻街」的新成员Big Bird。 这个在外界眼中看起来有点可爱的动漫小鸟，摇身一变，解决了BERT模型中的全注意力机制带来的序列长度二次依赖限制，可以兼顾更长的上下文。 △「芝麻街」中的Big Bird 众所周知，谷歌开发的BERT，

>>阅读原文<<