NLP学习17_Attention

注意力机制用在图像处理、NLP领域 看图说话 我们要从CNN识别结果中选择一个向量作为meaning vector 一般选择倒数第二层的向量,因为倒数第一层的向量更适合分类,而倒数第二层的向量更具泛化能力 使用attention:如果要看图说话, 比如我要生成girl这个单词,那么我的关注点肯定是图片中的小女孩,而不是整张图片 Seq2Seq 编码部分,首先要对每个单词进行pretrain emb
相关文章
相关标签/搜索