DeepLearning.ai code笔记5:序列模型

注意力机制模型 模型: 分为 Encoder层,Attention层 和 Decoder层。 将 Encoder层 的每个时间片的激活值 s<t> s < t > 拷贝 Tx 次然后和全部激活值 a (Tx个时间片) 串联作为Attention 层的输入,经过Attention层的计算输出 ny n y 个阿尔法 α,使用不同激活值 a 作为不同阿尔法 α 对每个单词的注意力权重,相乘,即 α⋅a
相关文章
相关标签/搜索