论文翻译：Mastering the Game of Go without Human Knowledge (第一部分)

Posted 2021-01-08 bosslv

长久以来，人工智能的一个目标是在那些具有挑战性的领域实现超过人类表现的算法。最近，AlphaGo成为了在围棋上第一个打败了世界冠军的程序。在AlphaGo中，使用深度神经网络来进行树搜索，评估位置，和选择下一步动作。这些神经网络使用人类的专家数据进行监督学习，以及通过自我对弈进行强化学习。在这里，我们介绍一个仅仅基于强化学习的算法，除了游戏规则外没有任何的人类数据，指导，或领域知识。AlphaGo成为了它自己的老师：训练一个神经网络来预测AlphaGo自己的动作，和游戏的胜利者。这个神经网络提高了树搜索的能力，使它在下一次迭代时有更好的选择以及更强的自我博弈。从一片空白开始，我们的新程序 AlphaGo Zero达到了超人般的表现，以100-0的成绩战胜了先前公布的AlphaGo。

人工智能中的许多进展是通过训练监督式学习系统来模仿人类专家的决策。然而，专家数据通常是昂贵的，不可靠的，或难以获得的。即使可以很容易的获得可靠数据，通过这种方式训练的系统，表现也可能到达天花板。相比之下，强化学习系统通过它们自己的经验来训练，在原则上它们具有超越人类的能力，以及在人类不擅长的领域工作。最近，在这方面有了迅速的进展，通过强化学习来训练深度神经网络。这些系统在3D虚拟环境，电脑游戏中有比人类更好的表现。然而，在人类智力最受挑战的地方——比如围棋，广泛地认为这对于人工智能是一个巨大的挑战，因为这需要在巨大的搜索空间中进行精确而复杂的考虑。通用方法从未在这些领域达到人类的水平。

AlphaGo是第一个在围棋中有着超人表现的程序。那个我们称之为AlphaGo Fan的发布的版本，在2015.10打败了欧洲的冠军Fan Hui。AlphaGo Fan利用了两个深度神经网络：一个输出移动概率的策略网络，一个输出位置评估的价值网络。策略网络最初通过监督式学习训练，以此来准确预测人类专家的行动，随后通过策略梯度强化学习重新定义。训练价值网络来预测自我对弈的胜利者。一旦经过训练，这些网络就会和一个蒙特卡洛树搜索(MCTS)结合，以此来提供前瞻搜索，使用策略网络来减小搜索范围，并向高胜率方向移动，然后使用价值网络（结合了快速走子策略的MCTS）来评估在树中的位置。在一个随后的我们称之为AlphaGo Lee的版本中，使用相似的方法，在2016年4月击败了有18个国际头衔的冠军——李世石。

我们的程序，AlphaGo Zero，在几个重要的方面与AlphaGo Fan和AlphaGo Lee有所区别。第一个也是最重要的一个，它仅仅通过自我对弈强化学习实现，从随意的下棋开始，没有任何监督或使用人类数据。第二，它只使用棋盘上的黑白子作为输入特征。第三，它只使用了一个神经网络，而不是分开的策略网络和价值网络。最后，依靠于这个单神经网络，它使用了一个更简单的树搜索，来评价位置和采样动作，没有使用蒙特卡洛走子。为了达到这些结果，我们介绍一个全新的强化深度学习算法——在训练过程中包含前向搜索，来达到快速的进步和精确、稳定的学习。在搜索算法，训练步骤以及网络结构上的进一步的不同将在Methods中描述。