深度学习的注意力机制

注意力机制的提出主要是在处理NLP问题的过程中提出来的，当前在图像领域也渐渐得到广泛应用。 使用pre-trained CNN网络生成状态h，将h进行解码，利用注意机制，图像首先被分成n个部分，并且我们使用每个部分h_1，...，h_n的卷积神经网络（CNN）表示来计算。当RNN生成新单词时，注意机制关注于图像的相关部分，因此解码器仅使用图像的特定部分。 上图是对图像进行标注时我们可以看到标题的每

>>阅读原文<<