神经网络图灵机(Neural Turing Machines, NTM)

近期，Google Deep Mind团队提出了一个机器学习模型，并起了一个特别高大上的名字：神经网络图灵机，我为你们翻译了这篇文章，翻译得不是特别好，有些语句没读明白，欢迎你们批评指正 

原论文出处：http://arxiv.org/pdf/1410.5401v1.pdf。

版权全部，禁止转载。

---

 

神经网络图灵机

Alex Graves gravesa@google.com
Greg Wayne gregwayne@google.com
Ivo Danihelka danihelka@google.com

Google DeepMind, London, UK

摘要

本文经过引入一个使用注意力程序进行交互的外部存储器（external memory）来加强神经网络的能力。新系统能够与图灵机或者冯·诺依曼体系相类比，但每一个组成部分都是可微的，可使用梯度降低进行高效训练。初步的结果显示神经网络图灵机可以从输入和输出样本中推理出（infer）简单的算法，如复制、排序和回忆。

 

1. 简介

计算机程序在执行计算任务的过程当中(Von Neumann, 1945)使用了三个基本机制：初等运算（如算术操做），逻辑控制流（分支循环）和可读写的存储器。虽然在建模复杂数据方面取得了普遍的成功，现代机器学习理论却广泛忽略了对控制流和存储器的使用。

因为其对带有时间属性的数据的进行学习和复杂转换的能力，递归神经网络脱颖而出。进一步，RNN又被证实是图灵彻底等价的 (Siegelmann and Sontag, 1995)，于是只要合理建模，它就能够模拟任何计算过程。可是理论上可行不表明实践中容易实现。为此，咱们加强了标准递归网络的能力从而simplify the solution of algorithmic tasks。这个加强方案主要是依赖一个较大的、可寻址的存储器，而类似地，图灵机是使用一个无穷存储带来加强有穷状态机，于是，咱们称这种新设备为”神经网络图灵机”。不一样于图灵机的是，NTM是一个可微的计算机，可以使用梯度降低进行训练，对于学习程序来讲是一个很实用的机制。

在人类识别能力中，the process that shares the most similarity to algorithmic operation is known as “working memory.”。在神经生理学中，工做记忆的运行机制尚不清楚，根据字面意思，能够理解为是信息的短时间存储和基于规则的操做集合(Baddeley et al., 2009)。在计算机术语中，这些规则就是程序，存储的信息构成了这些程序的参数。既然NTM被设计用来对“快速建立的变量”应用近似的规则，因此它模仿了一个工做记忆系统。快速建立的变量(Rapidly-created variables) (Hadley, 2009) 是能够快速绑定到存储槽的数据，就像传统计算机中数字3和4被放在寄存器而后相加获得7(Minsky, 1967)。因为NTM架构使用了注意过程来对存储器进行选择性读写，因此NTM使用了另外一个类似的工做记忆模型。与大多数工做记忆模型相比，咱们的架构可以学习使用他的工做记忆，而不须要为符号数据引入一系列固定的程序。

本文首先对在心理学、语言学和神经科学以及人工智能和神经网络等领域与工做记忆相关的研究作一简单回顾。而后描述咱们的主要工做，一个存储架构和注意力控制器，而且咱们相信这个控制器能够知足简单程序的概括(induction)和执行(execution)这类任务的性能要求。为了测试这个结构，咱们设计了一些问题，并给出了详细的测试结果。最后总结这个架构的有点。

 

2. 基础研究

更多和更佳阅读体验，前往主站