手把手教你搭建AlphaZero（使用Python和Keras）

安妮 允中 编译整理 本文经AI新媒体量子位（公众号ID:qbitai ）受权转载，转载请联系出处。

AlphaZero，DeepMind阵营的最强棋士。

关于AlphaZero的理论分析已经很多，最近Applied Data Science的联合创始人David Foster，写出了一份详细的教程，教你如何搭建一套属于本身的AlphaZero系统。并且还附上了代码。

原文地址：https://medium.com/applied-data-science/how-to-build-your-own-alphazero-ai-using-python-and-keras-7f664945c188

如何构建本身的AlphaZero

首先，咱们须要学习和理解AlphaGo Zero的原理。我以前写过一篇AlphaGo Zero的知识点速查手册可供参考，Tim Wheeler的博客中一篇文章给也讲的很详细，一并推荐给你。

知识点速查手册：

https://medium.com/applied-data-science/alphago-zero-explained-in-one-diagram-365f5abf67e0

Tim Wheeler博客：

http://tim.hibal.org/blog/alpha-zero-how-and-why-it-works/

代码

我将基于下面这个代码库进行讲解：

https://github.com/AppliedDataSciencePartners/DeepReinforcementLearning

咱们应该从哪里开始构建本身的AlphaZero呢？

别急，能够从运行Jupyter notebook中run.ipynb的前两个panel开始。一旦它对游戏有了足够的定位，那么神经网络将开始训练。经过额外的自我对弈和训练，它将逐渐在预测游戏中的各个行为的价值和下一步行动上作得愈来愈好，从而作出更好的决策和更聪明的游戏。

如今，咱们须要更详细地看看面前的代码，而且展现下AI是怎样随时间愈来愈厉害的。

Connect4

咱们的算法将要学习如何玩Connect4（四子连珠）这个游戏。虽然不如围棋那样复杂，但也有4531985219092种游戏位置。

游戏规则很简单。玩家轮流在任何一栏的顶部布置本身的颜色。谁最早在垂直、水平或对角线上都放置了同一种颜色就获胜了，若是这种状况没有出现，那游戏就是平局。

下面是组成代码库的关键文件：

game.py

这个文件包含Connect4的游戏规则。

每一个正方形都被分配了一个从0到41的数字，以下图所示：

game.py文件给除了从一种游戏状态到另外一种状态的逻辑，而且给出了一个选择的动做。好比，考虑到empty board和38号动做，takeAction方法返回到一个新的游戏状态，也就是底部一行的中心位置。

你能够将game.py文件用任何符合相同API和算法的游戏文件替换掉，根据你给它的规则，经过自我对弈的方法学习。

run.ipynb

这个文件包含开启学习过程的代码。它经过算法中的主要环节加载游戏规则，而且由三个阶段组成：

1.自我对弈

2.从新训练神经网络

3.评估神经网络

有两个智能体也参与到这个环节中，他们分别为best_player和current_player。

best_player包含执行最佳的神经网络，而且能够用于生成自我对弈的记忆。而后，current_player在这些记忆上从新训练它的神经网络，而后再与best_player对弈。若是它赢了，best_player内部的神经网络被转换为current_player内部的神经网络，而后循环再次启动。

agent.py

这个文件包含游戏中的一个玩家Agent class。在游戏中，每一个玩家都是用本身的神经网络和蒙特卡罗搜索树进行初始化的。

咱们须要用simulate method运行蒙特卡罗树搜索过程。具体老说，智能体移动到树的叶节点，用它的神经网络对节点进行评估，而后经过树将节点的值返回。

以后，咱们还须要用act method屡次重复模拟，让智能体理解从当前位置移动最有利。而后它将最终选择的动做返回到游戏中，以执行动做。

最后，replay method利用之前游戏的记忆，从新训练神经网络。

model.py

这个文件包括Residual_CNN类，这定义了如何构建一个神经网络的实例。

它使用了AlphaGo Zero论文中的神经网络结构的浓缩版本，而后是许多残差层，而后分裂成价值和策略两个分支。

卷积过滤的深度和数量能够在配置文件中指定。

Keras库用来搭建网络，后端是TensorFlow。

要在神经网络中查看单个卷积过滤和密集链接的层，请在run.ipynb notebook中运行如下内容：

current_player.model.viewLayers()

△ 神经网络中的卷积过滤

MCTS.py

这里包含构成蒙特卡洛搜索树的节点、边缘和MCTS类。

MCTS类包含前面提到的moveToLeaf和backFill方法，边缘类的实例存储了每一个潜在行棋方法的统计信息。

config.py

在这里设置影响算法的关键参数。

调整这些变量会影响运行时间、神经网络的准确性和算法的总体成功与否。上述参数能生成一个高质量的四子连珠（Connect4）玩家，但须要深长时间。想让算法加速，能够尝试用以下的参数替代：

funcs.py

这里包括两个智能体之间对弈的playMatches以及playMatchesBetweenVersions函数。

要和你的做品对弈，能够运行下面的代码（也是在run.ipynb notebook中）。

initialise.py

运行算法时，全部模型和memory文件都保存在根目录下的run文件夹中。

要从某一记录点重启算法，须要把run文件夹转移到run_archive文件夹，并在文件夹名中加入运行编号。而后把运行编号、模型版本号和memory版本号输入到initialise.py文件中，对应run_archive文件夹中的相关文件。

其余

memory.py：Memory类的实例存储之前的游戏，算法用这个来从新训练当前玩家（current_player）的神经网络。

loss.py：这个文件包括一个自定义的损失函数。

settings.py：run和run_archive文件夹的位置。

loggers.py：日志文件保存到run文件夹下的log文件夹中。要打开日志记录，请在这个文件夹中，将logger_disabled变量的值设置为False。

下图来自logger.tourney文件，能够看到每一个下法的几率。

结论

通过几天的培训后，咱们的模型会产生下面这样的mini-batch的迭代损失数值：

最上面的一行是策略端的偏差(MCTS的交叉熵移动几率与神经网络的输出相对应)，底部是与值之间的偏差（实际游戏值与神经网络值之间的均方差），中间这根线是上述二者的平均值。

显然，随着训练时间的增长，神经网络在预测每一个游戏状态的值和可能的下一步动做方面变得愈来愈好。

为了展现这一成果是如何在更强的比赛中大展身手的，我让17名玩家之间进行了一次联赛，从首次迭代的神经网络到第49次迭代，每对搭档都交手了两次，两名玩家都有机会先上场。

最终的排名以下：

很明显能够看出，神经网络的后期版本优于早期版本，赢得了大部分游戏。但彷佛学习尚未饱和——随着训练时间的延长，玩家还在变得更厉害，学习更多更复杂的策略。

例如，神经网络一直秉持的清晰策略是尽早抢占中心栏，咱们能够观察下算法第一版和第30版的区别——

△ 第一版神经网络

△ 第30版的神经网络

这是个不错的策略，由于不管是经过哪一种方法取胜，都须要占据中心列，因此玩家须要抢占先机。

最重要的是，这是由神经网络本身学会的，中途没有任何人类输入。

学习不一样的游戏

在games文件夹中，有一个名为Metasquares的game.py文件。所谓Metasquares，就是双方在网格中轮流下棋，棋子连成的方块越大，得分越高。

若是把Connect4 game.py替换成Metasquares game.py，一样的算法就开始学习玩新的Metasquares游戏。

End