注意力机制

注意力机制：编码器 和 解码器 编码器 编码器如下所示，输入 先经过 嵌入层 转化为输入向量，然后在每个时间步产生一个隐藏状态，最后将每个时间步生成的向量，组合成一个矩阵 H H H，传入解码器 解码器 对于每个时间步，需要计算出 注意力语境向量（Context Vector），步骤如下： 第一步，计算 Score，输入 编码器中得到的 隐藏状态矩阵 H H H（假设维度为 m * 3），输出 对

>>阅读原文<<