Attention模型综述

1.引言 Attention模型在14年的机器翻译中就被提出。 优势有： 1、提高MT，QA等的能力； 2、提高神经网络的可解释性； 3、克服RNN因过长而导致的丢失信息，记忆不够精准。 2. Attention 其中 x 1 、 x 2 、 x 3 x_1、x_2、x_3 x1​、x2​、x3​是输入， y 1 、 y 2 y_1、y_2 y1​、y2​是输出， h 1 、 h 2 、 h 3

>>阅读原文<<