Attention本质剖析

1. 为什么需要attention？  Why 语音识别或机器翻译领域传统Encoder-Decoder方案遇到性能瓶颈。 传统Encoder直接将所有输入(x1, ..,x4)编码至固定向量c，再通过decoder进行解码，该思路缺陷显而易见，每个输入没有显示的权值表示，导致每个输入的贡献相当。                                                  

>>阅读原文<<