BERT背景介绍——Attention机制

BERT背景介绍——Attention机制 学习BERT一段时间了，但是还是没搞懂attention是什么，今天再来学习一下。 Attention机制 图片形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于图片所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。深度学习中的注意力机制从本质上讲和人类的选择性视觉

>>阅读原文<<