神经网络玩个球！我搭建了一个会玩FIFA的AI。

Posted 2021-03-29 景略集智

欢迎访问景略集智的官方网站（jizhi.im）。

小伙伴们，就在昨天晚上12点，集智课堂的团长优惠活动结束啦，不知道小伙伴们最后拿到本次活动最低价没有？没有拿到团长优惠的小伙伴也不要着急～因为下周一开始课程～～就更贵啦！（逃

下周开始集智课堂课程就要阶梯涨价啦，为了保证教学质量，在学生招满后，或在4月9号集智课堂停止售课，本学期最后一次低价就在25号，快快点击阅读原文进入商城，预购从速喵！

我们现在往往是通过手动编码一系列的规则，来创建游戏 AI 机器人。大部分情况下，这种方法让机器人模仿人类行为的效果也的确不错。

然而，对于大多数游戏来说，我们还是很容易就能把真正的人类的玩家与机器人区别开来。如果我们想让这些机器人表现地更像人类，那么不用手工编程去搭建它们情况会不会更好？如果我们只是让机器人通过观察人类如何玩游戏来学习游戏，那会是什么情形？

为了探究这个想法，我们需要一款在开发游戏之前人类已经在玩的游戏，以此来收集数据。毫无疑问，FIFA 就是一款很趁手的游戏，很适合这个问题的研究。通过玩游戏并记录我在游戏中的行为和决策，让我能训练一个端到端的深度学习机器人，而不必对游戏的单一规则进行硬编码。

FIFA

玩游戏的机制

基本机制是，我们无需获取 FIFA 的内部代码就能构建这样一款机器人。好消息是，机器人也不想看这些信息。我们只需要将游戏窗口的简单截图输入到机器人的游戏引擎中，然后它会处理这些视觉信息，输出它想要采取的动作，并通过按键模拟传达给游戏。不断重复这个步骤。

现在我们有了一个框架，可以将输入提供给机器人并让其输出控制游戏，现在我们来看有趣的一部分：学习游戏智能。这是通过以下两个步骤完成的：

1. 使用卷积神经网络来理解截图

2. 使用基于对图像理解的长短期记忆网络来输出适当的动作

步骤一：训练卷积神经网络（CNN）

卷积神经网络以“能够高准确率检测图像中的物体”而著称。加上一些快速的 GPU 和智能网络架构，我们就可以得到一个可以实时运行的卷积神经网络模型。

为了让我们的机器人了解输入的图像，我用了一个极其轻量和快速的卷积神经网络，称之为MobileNet。从该网络提取的特征地图显示模型能高度理解图像，例如玩家和其他感兴趣的对象位于屏幕上的位置。该特征图随后与 Single-Shot Multi-Box 一起用于检测球场上的球员以及球和球门。

步骤二：训练长短期记忆网络（LSTM）

现在我们对图像有了一个了解，可以继续下去了，也能决定我们接下来的操作。但是，我们不能仅仅依靠一个模型就得出结果。我们更希望看到这些图片的短序列。这就是为什么我们在图形中引入长短期记忆网络，因为它们以能够模拟数据中的时间序列而出名。我们将连续的帧用作序列中的时步，并且使用卷积神经网络模型为每个帧提取特征映射。然后将这些映射同时输入到长短时记忆模型中。

第一个长短期记忆模型负责学习玩家需要做什么动作。这样就需要它是一个多级分类模型。第二个长短时记忆模型获得相同的输入，并且在横传、突破、传球及射门这一系列的动作中做出相应响应（与游戏手柄的按键对应），这就是另一个多级分类模型。然后机器人将这两个模型产生的输出转换为按键来控制游戏中的动作。

这些网络模型已经通过手动播放游戏并记录输入图像和目标按键得到了训练。而收集这几个带有标签的数据并不像是一件苦差事！

评估机器人的性能

我不知道该用一些什么准确参数来判断机器人的表现，所以让它直接去玩这个游戏。仅仅训练了 400 分钟，机器人已经学会跑向对手的球门，前方传球并在发现有机会时进行射门。在截至写作时为止，它已经在 FIFA 18的初学者模式中的大约 6 场比赛中打入了 4 球，比 17/18 赛季 Paul Pogba 还多出 1 球。

Paul Pogba：？？？

我们的机器人与 FIFA 内置机器人对战的视频可以在我的 YouTube 频道中看到：

结语

我对这种构建游戏机器人的方案的初步印象肯定是兹瓷的。在有限的训练中，机器人已经掌握了基本的比赛规则：向目标点移动并将球射入网中。我相信用更多时长的数据训练后，它的表现会非常接近人类水平，而这样的数据对游戏开发者来说是很容易收集的。此外，将模型训练拓展到从真实世界的比赛画面中学习，将使游戏开发者能够让机器人的行为更加自然和真实。所以现在，如果有 EA 体育的任何人在阅读此内容的话，你懂的······

附本项目 GitHub 代码库：

ChintanTrivedi/DeepGamingAI_FIFA

参考资料：
https://towardsdatascience.com/building-a-deep-neural-network-to-play-fifa-18-dce54d45e675

扫描下方二维码加入用户群吧！

（ 若过期请主页回复【用户群】）

官方微博：@景略集智

商务合作：[e-mail]

投稿转载：[e-mail]

景略集智-业界领先的人工智能教育、求职平台