【重磅】Deepmind出品-自动学习并生成图像

经过眼睛的世界不只仅是咱们角膜所反映的映像。例如，当咱们看建筑物并欣赏其设计的复杂性时，咱们能够欣赏它所需的工艺。这种经过创造它们的工具来解释物体的能力使咱们对世界有了更加丰富的理解，而且是咱们获取信息的一个重要方面。

咱们但愿咱们的系统可以创造出一样丰富的世界表现形式。例如，观察绘画的图像时，咱们但愿它会了解用于绘画时的动做，而不只仅是在屏幕上表示它的像素。

在这项工做中（https://deepmind.com/documents/183/SPIRAL.pdf），咱们为人造智能管家配备了与用来生成图像相同的工具，并证实它们能够推断数字、人物和肖像的构造方式。相当重要的是，他们是本身学习如何作到这一点，而不须要人为标签的数据集。这与之造成鲜明对比最近的研究(https://arxiv.org/pdf/1704.03477.pdf)依赖于从人为标记(human demonstrations)中学习，那样可能会是更加耗费时间。

credit：Shutterstock

咱们设计了一个与计算机绘画程序交互的深度强化学习系统(http://mypaint.org/)，将笔触放在数字画布上并更改画笔大小、压力大小和颜色。未经训练的系统首先会绘制随意的笔画，但没有明显的构图。为了克服这一点，咱们必须建立一种奖励机制，鼓励系统生成有意义的图画。

为此，咱们训练了第二个神经网络，称为鉴别器，其惟一目的是预测特定图形是由机器制做的，仍是从真实照片的数据集中采样得来。绘画系统的奖励是经过“欺骗”鉴别者认为它的绘画是真实的。换句话说，系统的奖励信号自己就是学习的。虽然这与生成敌对网络（GAN）中使用的方法相似，但它不一样，由于GAN设置中的生成器一般是直接输出像素的神经网络。相反，咱们的系统经过编写图形程序来与绘图环境交互来生成图像。

在第一组实验中，系统接受了训练以生成相似于MNIST(http://yann.lecun.com/exdb/mnist/)数字的图像：它显示了数字的样子，但没有显示它们是如何绘制的。经过尝试生成用以欺骗鉴别器的图像，智能系统学会了控制画笔并操纵它以适应不一样数字的风格--可视化程序合成技术(https://en.wikipedia.org/wiki/Program_synthesis)。

咱们也训练它重现特定的图像。这里，鉴别器的目的是肯定再现的图像是不是目标图像的副本，或者是否已经由系统产生。鉴别者的这种区别越困难，系统获得的奖励(rewarded)就越多。

相当重要的是，这个框架是能够解释的，由于它产生了一系列控制模拟画笔的动做。这意味着该模型能够将其在模拟绘画程序中学到的知识应用于其余相似环境中的人物重建，例如在模拟(或者真实)的机器人手臂上。这个视频能够在这里看到(https://youtu.be/XXM3PdIdLJQ)。

还有可能将这个框架扩展到实际的数据集上（real dataset）。通过训练能够绘制名人脸部表情，系统可以捕捉到脸部的主要特征，例如形状、色调和发型，就像街头艺术家在使用有限数量的画笔描绘肖像时同样：

从原始感觉中恢复结构化表示是人类容易拥有并常用的能力。在这项工做中，咱们代表能够经过让人工系统得到咱们用来重现咱们周围世界的类似工具来指导人造系统产生相似的表示。在这样作时，他们学会制做可视化程序，简洁地表达引发观察的因果关系。

尽管咱们的工做仅表明了向灵活的程序综合化(synthesis)迈出的一小步，但咱们预计可能须要相似的技术才能使具备相似人类认知、归纳和沟通能力的人工智能成为可能。