本文最大贡献是提出了注意力机制 ，相比于之前 NMT（Neural Machine Translation） 把整个句子压缩成一个固定向量表示的方法，对不同位置的目标单词计算每个输入的不同权重，这样能够更好地捕捉目标词相关的输入信息。
最近的 NMT 模型是 encoder-decoder 架构，编码器将源句子编码为固定长度的向量，解码器根据该向量生成翻译。本文推测原句编码到一个固定长度的向量是一个瓶颈 ，然后文章提出了改进：在之前模型的基础上自动寻找目标词相关的源句子的部分，而不是死板的把整个句子编码为固定长度的向量。
这个方法在 English-to-French translation 上达到 sota 效果
encoder-decoder 架构：编码器神经网络读取源句子并将其编码为固定长度的向量，然后解码器从编码的向量中输出翻译结果。
但是一个潜在问题是 encoder 需要把整个句子编码为固定长度的向量，很难处理长句子（长句子信息量相对更多，同样编码为固定长度向量就很难提取所有重要的的特征）。为了解决这一问题，本文提出在原来模型基础上的扩展，同时进行对齐和翻译（这里对齐的意思应该是预测词和输入词之间位置的对应关系。比如“我爱你”和“I love you”中“我”和“I”的对应。但是语言之间语序又有不同，因此不能按照顺序简单对应）。每次模型生成新的翻译词，它在原句那些最有可能包含有关信息的位置上进行搜索。
这个方法最重要的特点是，它没有尝试将原句的所有部分编码到固定长度的向量，而是它把原句编码到一系列向量，然后在解码的时候灵活的选用这个序列的子集。
从统计的角度看，翻译相当于寻找译句
y
y
y
x
x
x
a
r
g
m
a
x
y
p
(
y
∣
x
)
argmaxyp(y|x)
a r g m a x y p ( y ∣ x )
在 Encoder-Decoder 框架里，编码器把原句，一个序列的向量
x
=
(
x
1
,
.
.
.
,
x
T
x
)
x=(x_1,...,x_{T_x})
x = ( x 1 , . . . , x T x )
c
c
c
h
t
=
f
(
x
t
,
h
t
−
1
)
h_{t} = f(x_{t},h_{t-1})
h t = f ( x t , h t − 1 )
c
=
q
(
{
h
t
,
.
.
.
,
h
T
x
}
)
c = q(\{h_{t},...,h_{T_{x}}\})
c = q ( { h t , . . . , h T x } )
h
t
h_t
h t
c
c
c
f
f
f
q
q
q
解码器用来给定上下文向量
c
c
c
{
y
1
,
.
.
.
,
y
t
−
1
}
\{y_1,...,y_{t−1}\}
{ y 1 , . . . , y t − 1 }
p
(
y
)
=
∏
t
=
1
T
p
(
y
t
∣
{
y
1
,
.
.
.
,
y
t
−
1
}
,
c
)
p(y) = \prod_{t=1}^{T}p(y_{t} | \{y_{1},...,y_{t-1}\},c)
p ( y ) = t = 1 ∏ T p ( y t ∣ { y 1 , . . . , y t − 1 } , c )
y
=
(
y
1
,
.
.
.
,
y
T
y
)
y= (y_{1},...,y_{T_{y}})
y = ( y 1 , . . . , y T y )
p
(
y
t
∣
{
y
1
,
⋯
,
y
t
−
1
}
,
c
)
=
g
(
y
t
−
1
,
s
t
,
c
)
p \left( y _ { t } | \left\{ y _ { 1 } , \cdots , y _ { t - 1 } \right\} , c \right) = g \left( y _ { t - 1 } , s _ { t } , c \right)
p ( y t ∣ { y 1 , ⋯ , y t − 1 } , c ) = g ( y t − 1 , s t , c )
c
c
c
s
t
s_t
s t
g
g
g
y
t
y_t
y t
在次提出一种用于 NMT 的新的架构。基于 encoder-decoder，增加一个 alignment model，形成新的网络结构。
新的条件概率：
p
(
y
i
∣
y
1
,
…
,
y
i
−
1
,
x
)
=
g
(
y
i
−
1
,
s
i
,
c
i
)
p \left( y _ { i } | y _ { 1 } , \ldots , y _ { i - 1 } , \mathbf { x } \right) = g \left( y _ { i - 1 } , s _ { i } , c _ { i } \right)
p ( y i ∣ y 1 , … , y i − 1 , x ) = g ( y i − 1 , s i , c i )
c
c
c
c
i
c_i
c i
s
i
s_i
s i
i
i
i
s
i
s_i
s i
s
i
=
f
(
s
i
−
1
,
y
i
−
1
,
c
i
)
s _ { i } = f \left( s _ { i - 1 } , y _ { i - 1 } , c _ { i } \right)
s i = f ( s i − 1 , y i − 1 , c i )
f
f
f
上下文向量
c
i
c_i
c i
(
h
1
,
⋯
,
h
T
x
)
(h_1,⋯,h_{T_x})
( h 1 , ⋯ , h T x )
h
i
h_i
h i annotation 向量。 每个 annotation 向量
h
i
h_i
h i
c
i
=
∑
j
=
1
T
x
α
i
j
h
j
c _ { i } = \sum _ { j = 1 } ^ { T _ { x } } \alpha _ { i j } h _ { j }
c i = j = 1 ∑ T x α i j h j
α
i
j
\alpha_{ij}
α i j
α
i
j
=
exp
(
e
i
j
)
∑
k
=
1
T
x
exp
(
e
i
k
)
{ \alpha _ { i j } = \frac { \exp \left( e _ { i j } \right) } { \sum _ { k = 1 } ^ { T _ { x } } \exp \left( e _ { i k } \right) } }
α i j = ∑ k = 1 T x exp ( e i k ) exp ( e i j )
e
i
j
=
a
(
s
i
−
1
,
h
j
)
{ e _ { i j } = a \left( s _ { i - 1 } , h _ { j } \right) }
e i j = a ( s i − 1 , h j )
e
i
j
=
v
a
⊤
tanh
(
W
a
s
i
−
1
+
U
a
h
j
)
e _ { i j } = v _ { a } ^ { \top } \tanh \left( W _ { a } s _ { i - 1 } + U _ { a } h _ { j } \right)
e i j = v a ⊤ tanh ( W a s i − 1 + U a h j )
e
i
j
e_{ij}
e i j
α
\alpha
α
到这里就呼应题目了 —— 对齐和翻译是同时学习的。
学习对齐模型只是手段，目的是完善注意力机制 —— 计算每个翻译词的上下文。
我们可以把计算注释的加权和看成计算期望注释。把
α
i
j
\alpha_{ij}
α i j
y
i
y_i
y i
x
j
x_j
x j
α
i
j
\alpha_{ij}
α i j
h
j
h_j
h j
s
i
−
1
s_{i−1}
s i − 1
s
i
s_i
s i
y
i
y_i
y i
以往的 RNN，都是从句子第一个符号读到最后一个符号。然而，我们想要让注释不仅囊括之前的信息，还要包含之后的信息，所以我们采用双向 RNN。
一个 BiRNN 由向前和向后 RNN 组成。向前 RNN
f
→
\overrightarrow{f}
f
x
1
x_1
x 1
x
T
x
x_{T_x}
x T x
(
h
→
1
,
.
.
.
,
h
→
T
x
)
(\overrightarrow{h}_{1},...,\overrightarrow{h}_{T_{x}})
( h
1 , . . . , h
T x )
f
←
\overleftarrow{f}
f
(
h
←
1
,
.
.
.
,
h
←
T
x
)
(\overleftarrow{h}_{1},...,\overleftarrow{h}_{T_{x}})
( h
1 , . . . , h
T x )
循环神经网络使用 GRU
z
i
=
σ
(
W
z
e
(
y
i
−
1
)
+
U
z
s
i
−
1
+
C
z
c
i
)
r
i
=
σ
(
W
r
e
(
y
i
−
1
)
+
U
r
s
i
−
1
+
C
r
c
i
)
s
~
i
=
tanh
(
W
e
(
y
i
−
1
)
+
U
[
r
i
∘
s
i
−
1
]
+
C
c
i
)
s
i
=
f
(
s
i
−
1
,
y
i
−
1
,
c
i
)
=
(
1
−
z
i
)
∘
s
i
−
1
+
z
i
∘
s
~
i
\begin{aligned} z _ { i } & = \sigma \left( W _ { z } e \left( y _ { i - 1 } \right) + U _ { z } s _ { i - 1 } + C _ { z } c _ { i } \right) \\ r _ { i } & = \sigma \left( W _ { r } e \left( y _ { i - 1 } \right) + U _ { r } s _ { i - 1 } + C _ { r } c _ { i } \right) \\ \tilde { s } _ { i } &= \tanh \left( W e \left( y _ { i - 1 } \right) + U \left[ r _ { i } \circ s _ { i - 1 } \right] + C c _ { i } \right) \\ s _ { i } &= f \left( s _ { i - 1 } , y _ { i - 1 } , c _ { i } \right) = \left( 1 - z _ { i } \right) \circ s _ { i - 1 } + z _ { i } \circ \tilde { s } _ { i } \end{aligned}
z i r i s ~ i s i = σ ( W z e ( y i − 1 ) + U z s i − 1 + C z c i ) = σ ( W r e ( y i − 1 ) + U r s i − 1 + C r c i ) = tanh ( W e ( y i − 1 ) + U [ r i ∘ s i − 1 ] + C c i ) = f ( s i − 1 , y i − 1 , c i ) = ( 1 − z i ) ∘ s i − 1 + z i ∘ s ~ i
e
(
y
i
−
1
)
∈
R
m
e \left( y _ { i - 1 } \right) \in \mathbb { R } ^ { m }
e ( y i − 1 ) ∈ R m
根据 3.1 的图可以看到预测
y
i
y_i
y i
y
i
−
1
y_{i-1}
y i − 1
s
i
−
1
s_{i-1}
s i − 1
c
i
c_i
c i
z
z
z
r
r
r
s
~
i
\tilde { s } _ { i }
s ~ i
h
′
h^{'}
h ′
s
i
s_i
s i
h
t
h^{t}
h t
通过上图可以看出随着句子长度的增加 RNNencdec 模型的效果快速下降，RNNsearch 50 模型效果随着长度变化几乎没有差别
参考资料
论文阅读：《Neural Machine Translation by Jointly Learning to Align and Translate》
论文笔记：Neural Machine Translation by Jointly Learning to Align and Translate
《neural machine translation by jointly learning to align and translate》(2015ICLR) paper 阅读笔记七
人人都能看懂的 GRU
