Unity ML-agents 1、初次尝试

前言

曾在高二寒假的时候，跟表哥在外面玩，当时他问我有没有想过之后要作什么，我愣了一下，回答不上来。是的，从没想过之后要作什么，只是一直在完成学校、老师安排的任务，因而那以后半年，我一直在思考，大学要学什么。在大二下期中以后，我以为本身仍是对游戏更感兴趣，便想到之后想作游戏。因而，高考后填志愿，填的都是计算机专业。在大一的时候，自学了一段时间的 Unity，到大二在实验室接触强化学习以后，就想着用 RL 来作游戏 AI，但后来一直在作数据挖掘相关的内容，基本上以参加比赛为主。直到去年参加上海的谷歌开发者节，了解到 ML-agents 以后，就十分的想尝试。

而后因为疫情，直到如今还在家里咸鱼，前段时间一边咸鱼一边投简历，奈何本身水平过低又恰恰想投算法岗，直到如今也没有几回面试机会 orz。最近就想继续当年未完成的 Unity 的学习，顺便学习 ML-agents，回到原点，从新出发。

初试 ML-agents

环境配置

既然要尝试，确定免不了环境配置
目前个人环境为：

1. Win10
2. Tensorflow 2.0
3. ML-agents 0.15.0
4. Unity 2019.3.1f1
   关于 Tensorflow 2.0 的安装，参考我以前的博客，Unity 的安装，推荐先下载 Unity Hub，经过 Unity Hub 能够管理不一样版本的 Unity，下载戳这里

ML-agents 的安装有两种方式
一是直接 pip

pip install mlagents

二是从官方 github 中 clone 整个项目，而后 cd 到目录中

pip install -e ./ml-agents-envs
pip install -e ./ml-agents

到这里，环境配置就算完成了

跑个 Demo 先吧

在 Unity Hub 中导入刚刚从 github 上 clone 的项目

选择 Unity 版本以后打开

而后打开 3DBall 这个场景

点击运行的话能够直接看到效果

接着，开始尝试本身训练，打开命令行，进入到以前 clone 下来的项目目录中，并在目录中建立一个名为 summaries 的文件夹

而后输入

mlagents-learn config/trainer_config.yaml --run-id=test --train

在出现图标以后，切换到 Unity 运行项目，就能够看见开始训练了

能够看出来一开的效果是不好的，彻底控制很差，此次训练大概训练 40w+ 步，到后面就很稳了

注：项目目录中尽可能不要出现中文，下午在尝试的时候一直报错，后来更改目录以后发现成功了，不清楚是否是路径中有中文的缘由
报错内容

"The Unity environment took too long to respond. Make sure that :\n"
mlagents_envs.exception.UnityTimeOutException: The Unity environment took too long to respond. Make sure that :
         The environment does not need user interaction to launch
         The Agents are linked to the appropriate Brains
         The environment and the Python interface have compatible versions.

训练完成后，咱们能够在 models 目录下看到刚刚训练好的模型，重命名一下，而后把模型拖到 TFModel 目录中

接着打开 prefabs 中的 3DBall，点击其中的 agent，而后将 Behavior 改为咱们刚刚拖到 TFModel 目录中的模型

点击运行，发现控制的十分稳定，跟一开始差很少。至此，初试完毕。

小节

这里咱们安装配置了 ML-agnets 的相关环境，并运行了个 Demo 来熟悉了遍流程，后面将开始尝试本身搭建环境，训练 AI，也不知道能不能捣鼓出来，23333。