机器翻译以及注意力机制

注意力机制就是让计算机模拟人类大脑，在看东西的时候，将注意力集中在比较感兴趣的物体上。 1. 引入注意力机制的目的： 1、计算能力的限制：越复杂的模型才能记住更多的信息，但是当前计算能力依然是限制人工神经网络发展的瓶颈 2、优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些， 有效缓解模型复杂度和表达能力之间的矛盾；但是，信息“记忆”能力并不高 2. 按照

>>阅读原文<<