注意力模型

好记性不如烂笔头，现在整理一下attention model的各种类型。 什么是attention 一句话来说，attention是一个加权求和，重点是如何计算权重。我们有一个query向量（包含比较多信息的全局向量），一段key向量，利用query对所有key进行加权求和。 背景 在nlp领域，首先将attention用于机器翻译，显然，在进行翻译的时候，会关注不同的原文信息。 具体来说，在机器

>>阅读原文<<