游戏中的机器学习——经过创造AI来掌控虚拟世界

做者 | CDA数据分析师
出品 | CDA数据科学研究院

在虚拟世界中，人工智能正变得愈来愈聪明、愈来愈智能。游戏中最先出现的人工智能实例是在1952年，当时英国一名孤独的研究生建立了一个基于规则的人工智能，能够完美的玩一款井字游戏。现现在，不少研究团队正在努力-或者说已经成功创造出能够在日益复杂的游戏中击败人类的人工智能。

有两种不一样类型的游戏吸引了计算机科学家，软件开发人员和机器学习研究人员的兴趣：一种是彻底信息游戏，也就是玩家在任什么时候候都知道游戏的全部方面; 另外一种是信息不彻底的游戏，也就是玩家在游戏中只知道游戏的一些方面,其余的则彻底不知道,须要本身探索。虽然这两类游戏种类都有着很复杂的游戏，但玩家在游戏中所了信息的这种差别对于人工智能如何处理游戏有着很是重要的影响。

继续阅读下去，了解研究人员如何在游戏中使用机器学习来建立更强大的人工智能，以及研究人员如何利用从这些虚拟世界中学到的能力来征服其余领域。做为一个有趣的预览，这里是一个名为MarI / O的人工神经网络的演示，它是由前微软工程师Seth Hendrickson建立，学习如何征服超级马里奥中的关卡。

彻底信息游戏中的机器学习

在国际象棋和围棋中，两位玩家均可以看到整个棋盘以及棋盘上每一块棋子的位置。在Super Smash Bros.电子游戏中，战斗人员能够在任何给定时间查看整个地图以及其余战斗员的确切位置。机器在这些类型的游戏中表现出色，而且目前（或很快将）会以压倒性的优点超过最优秀的人类玩家。在不太复杂的游戏中，现代计算机能够简单地以“蛮力”记住每个可能的动做序列。例如，在2007年，一位计算机科学家证实，若是双方都玩的很好,那么跳棋游戏老是会以平局了结。

更使人感兴趣的是,游戏中可能出现的位置数量太大，甚至超级计算机也没法使用简单的"蛮力"进行计算。具体技术因游戏而异，因此咱们将着眼于一些关于机器学习的案例研究,这些案例都是关于流行的棋盘游戏和彻底信息的电子游戏。

国际象棋

在1950年的一篇开创性的论文中，计算机科学家克劳德·香农(Claude Shannon)证实了,对国际象棋中可能位置数量的保守估计超过10 ^ 120，这大大超过了已知宇宙中的原子数量。即便使用现代超级计算机，也不可能用纯粹的"蛮力“解决”国际象棋

1997年，IBM的超级计算机深蓝(Deep Blue)在六场比赛中击败了世界象棋冠军加里卡 斯帕罗夫(Garry Kasparov)，这是国际象棋界人工智能首次击败了人类的顶级棋手。从那时起，国际象棋计算机远远超过了人类的能力; 斯托克菲什是国际象棋顶级人工智能之一,其Elo评分估计超过3200,比排名第一的马格努斯•卡尔森(Magnus Carlsen)高出近400分(至关于卡尔森水平的10倍)。。

stock fish使用蛮力和优化启发式的组合来计算某个位置中每一个合法移动的数值计算。为了减小每次移动时出现的大量分支选项（任何给定位置可能有25个合法移动;每一个移动可能会有下25个合法移动，依此类推），Stockfish使用称为Alpha-beta修剪的搜索算法来剔除掉糟糕的招数。

这种游戏强度能够选择性地增长打开数据库和游戏结束时的桌面来增长强度，这些基本上都是游戏开始和结束阶段先计算好的移动。

虽然国际象棋近年来一直是人工智能研究的沃土，但顶级引擎已经避开了传统的机器学习技术，转而采用人类和机器学习的混合方式，结合了顶级人类的直观战略力量（编码于启发式）和具备计算机的原始计算能力。

这种协同方法可能在高级国际象棋中获得了最好的模拟，高级国际象棋是一种有计算机辅助的人类相互竞争的象棋形式,其水平比单独由人类或单独的计算机所能达到的水平都要高。

围棋

围棋，在亚洲被称为Baduk，是一款比国际象棋更复杂的棋盘类游戏。据美国围棋基金会(American Go Foundation)的数据报告称，正常的围棋的落子的数量大约为10 ^ 170。在过去两年里随着AlphaGo的发展，Google DeepMind团队在Go中为计算机优点铺平了道路，AlphaGo是一个使用深度神经网络本身学习游戏的人工智能（一种称为深度强化学习的技术）以及顶级人类玩家进行的游戏（经典的监督学习技术）。这种强化学习强调了人类和机器学习代理的独特优点。

人类是快速学习者 - 具备相对较小的数据集（例如，玩25个国际象棋游戏），他们能够在完成新任务方面显示出显着的进步。相反，计算机在达到相似的技能水平以前可能须要数百万，数十亿甚至数万亿的数据点，可是能本身对本身的进行对弈数百万场游戏并从过去的错误中吸收教训的能力克服了这一弱点。

AlphaGo与Stock fish和其余国际象棋引擎的关键区别在于，AlphaGo它没有"前瞻性"的搜索算法。DeepMind经过努力最终在2016年初以4-1大胜围棋冠军李世石(Lee Sedol)。

以前投资DeepMind的Elon Musk指出，AlphaGo的胜利是许多专家认为至少还须要十年才能实现的壮举。2017年1月，谷歌透露，它一直在秘密测试AlphaGo的最新版本，以对抗顶级人类玩家; 修改后的AlphaGo并无失去任何一场比赛的冠军。

虽然国际象棋引擎凭借其特定于游戏的启发式方法，对其余领域的了解极少，但AlphaGo的神经网络主导优点能够应用于许多其余领域。在接受Emerj采访时，DeepMind的Nando de Freitas描述了深度学习的许多不一样应用，这是AlphaGo采用的主要人工智能技术。并且，在与李世石(Lee Sedol)的比赛前不久的一篇博客文章中，谷歌明确表达了对AlphaGo的雄心：

咱们很高兴掌握了围棋，从而实现了人工智能的巨大挑战之一。然而，对咱们来讲，这一切最重要的方面是AlphaGo不只仅是一个用手工制做规则构建的“专家”系统; 相反，它使用通常的机器学习技术来弄清楚如何让本身在围棋中获胜。虽然游戏是快速有效地开发和测试人工智能算法的完美平台，但最终咱们但愿将这些技术应用于重要的现实问题。由于咱们使用的方法是通用的，咱们但愿有一天它们能够扩展到帮助咱们解决一些社会最棘手和最紧迫的问题，从气候建模到复杂的疾病分析。

超级马里奥兄弟

超级马里奥兄弟(Super Smash Bros.（SSB）)是一款非受欢迎的徒手格斗游戏系列，拥有任天堂游戏帝国中最受欢迎的角色。它拥有一个充满活力的竞技场景，包括职业球员在按期的锦标赛中竞争五位数的奖金。在一个关键方面，SSB与国际象棋和围棋不一样：SSB是一种非轮流的游戏。其中全部的玩家同时采起行动，因此这样就须要在本身行动的同时预测对手的行动。

虽然有不少为SSB开发的人工智能（包括由任天堂开发的游戏内的人工智能），但咱们将分析限制在Smash Bot，这是一个流行的SSB 人工智能，其开源代码库可让咱们更深刻地了解它的工做原理。Smash Bot是基于规则的专家系统的一个典型的示例。从本质上讲，它是基于人工智能内置的“知识库”的if-then语句链的更复杂版本。该代码库自述文件提供了它是如何工做的一个很好的总结：

“Smash Bot决定了4层次的目标层次：目标，策略，战术和链条。每一个目标都会检查当前的游戏状态，并决定哪一个较低级别的目标最适合实现它。

目标是最高级别的目标，并告知人工智能预期的整体结果应该是什么。在比赛中击败对手，或浏览菜单以选择咱们的角色。

策略是人工智能用于实现整体目标的最高级别的手段。例如，Smash Bot一般会采起诱使对手陷入糟糕行动的策略。

战术是低级别的一系列可预测的状况，咱们能够经过实际的方法制定出咱们的路线。例如，若是敌人离开舞台，咱们可能会选择在边缘守着他们,防止他们在回来。

链条是最低级别的目标，包括Smashers将识别的按钮按下的“链”，例如Wavedash，跳过取消的Upsmash等......“

这些规则在逐帧的基础上进行运行，足以使Smash Bot几乎不可能被人类的顶级玩家击败。

Smash Bot 人工智能可以有效的在帧与帧直接进行掩护，以致于对手没法得到任何一次命中。

尽管Smash Bot对人类具备压倒性的优点，但其严格的，针对特定领域的方法对研究人员来讲并非特别感兴趣。Smash Bot或Stock fish永远不会再其余任何事情上有效; AlphaGo的方法更接近人类的思惟，也能够更容易地应用于其余领域。例如，DeepMind 使用深度强化学习在人类层面掌握了许多不一样的经典Atari游戏，证实这种方法能够轻松应用于多个游戏。