首个深度强化学习AI，能控制核聚变，成功登上《Nature》

Posted 2022-02-24 AI科技大本营

编译 | 禾木木

出品 | AI科技大本营（ID:rgznai100）

最近，DeepMind 开发出了世界上第一个深度强化学习 AI ，可以在模拟环境和真正的核聚变装置中实现对等离子体的自主控制。

这项研究成果登上了《Nature》杂志。

托卡马克是一种用于容纳核聚变反应的环形容器，其内部呈现出一种特殊的混乱状态。氢原子在极高的温度下被挤压在一起，产生比太阳表面还热的、旋转的、翻滚的等离子体。找到控制和限制等离子体的方法将是释放核聚变潜力的关键，而后者被认为是未来几十年清洁能源的源泉。

在同样由聚变驱动的恒星中，仅依靠引力质量就足以将氢原子拉到一起并克服它们的相反电荷。在地球上，科学家们改为使用强大的磁线圈来限制核聚变反应，将其推到所需的位置。这些线圈必须仔细控制，以防止等离子体接触容器本身：这会损坏容器壁并减慢聚变反应。 

每当研究人员想要改变等离子体的结构，尝试不同的形状以产生更高的能量时，就需要大量的工程和设计工作。传统的系统是由计算机控制的，基于模型和模拟，但 Fasoli 表示传统方法「复杂且不一定能起到优化的作用」。

如何实现？

DeepMind 开发了一种可以自主控制等离子体的 AI，来控制瑞士等离子体中心的可变配置托卡马克内的 19 个电磁线圈。控制团队负责人 Martin Riedmiller 表示：「人工智能，特别是强化学习，特别适合解决托卡马克中控制等离子体的复杂问题。」

其包含以下三个主要阶段：

• 首先，设计者指定实验目标，可能伴有时变控制目标；

• 其次，深度 RL 算法与 tokamak 仿真器交互，寻找接近最优的控制策略以满足指定的目标；

• 第三，控制策略以神经网络的形式直接在 tokamak 硬件上实时运行。

首先观察改变 19 个线圈的设置如何影响容器内等离子体的形状。其中包括接近 ITER 内部使用的 D形横截面、法国正在建设的大型实验托卡马克装置，以及有助于消散反应强烈热量的雪花结构。

无论是在模拟中，还是当科学家在 TCV 托卡马克装置内进行相同的真实实验以验证模拟时，AI 能够通过以正确的方式操纵磁线圈来自主计算出如何创建这些形状。Fasoli 说，这代表了“重要的一步”，这可能会影响未来托卡马克的设计，甚至可以加快通往可行聚变反应堆的道路。

结语

总而言之，研究人员认为，使用 AI 算法控制等离子体，将使在反应堆内进行不同条件的实验变得更加容易，帮助他们了解这个过程，并有可能加快商业核聚变的发展。AI 还学会了如何通过以人类以前从未尝试过的方式调整磁铁来控制等离子体，这表明可能会有新的反应堆配置可供探索。

正如瑞士等离子中心主任 Ambrogio Fasoli 所说：“我们可以通过这种控制系统来冒险，否则我们不敢冒险。” 人类操作员通常不愿意将等离子体推到一定限度之外。

有些事件我们必须避免，因为它们会损坏设备，如果我们确定有一个控制系统可以接近极限但不会超出极限，那么就可以探索更多的可能性。研究可以继续加速。”

参考链接：

https://www.wired.com/story/deepmind-ai-nuclear-fusion/