自然语言处理中的Attention原理和作用

目前NLP三个大的进展，一个是分布式表示(词向量)，第二个是 LSTM(GRU),第三个就是attetion，这些技术在原来的基础上大大提升了nlp各项基础任务。 attetion究竟是什么呢。假设循环神经网络，每个时刻的输出 h1, h2, . . . , hn attetion其实就是，循环神经网络hi的在每个时刻的权重αi。因为，原来我们在预测的时候，是把LSTM的最终的预测状态 Hn输出，

>>阅读原文<<