深度强化学习的“丛林”大冒险

Posted 2022-03-19 脑极体

DeepMind在AI界是一家神奇的公司，在过去的几年取得了许多令人瞩目的成绩，例如享誉世界的阿法狗打败人类登顶围棋的天花板，Deepmind AlphaStar打败了星际争霸人类高手等。

在生命科学领域，AIphaFold2模型，可以将人类98.5%的蛋白质结构全部预测一遍，深入生命信息的深处、解读生命运行的密码。

DeepMind在生物、数学、化学、物理等领域中撒下的种子，吸引了许多聪慧大脑纷纷前往，投身AI科学领域的探索。顶尖的专家聚集在DeepMind，诞生出许多突破性进展的工作，取得了许多人工智能里程碑级别的成绩。在能源危机和环保压力中，DeepMind也聚焦核聚变、核物理领域，将AI赋能在核聚变的复杂反应中，让可控的核聚变反应又往前迈出了一大步。

核聚变的“暗黑丛林”

核聚变、核裂变，总让人傻傻分不清楚，如果拿应用的场景来区分的话，就很容易辨别了。核裂变就是原子弹以及核电站主要应用的技术。核聚变在自然界中最常见的就是太阳了，太阳的核聚变已经持续了46亿年。其原理是通过将氢元素的亲戚氘和氚原子进行核聚合反应，释放大量的能量。

相对于核裂变而言，核聚变反应不仅能够产生大量的能量，也不会产生核废料，是人类理想的终极能源。但实现核聚变的商业化还需要突破许多难关，包括等离子体反应的约束，氘与氚原料的提供，成本的控制等，其中最大的难题就是如何控制和约束核聚变反应，如果无法做到缓慢有序的能量释放，瞬间的能量释放跟炸弹没什么两样。

科学家们在核聚变反应中，通常通过三种物理方式约束核聚变反应：重力场约束，磁力场约束和惯性约束。

太阳上的核聚变就是靠其强大的万有引力提供的重力场约束，这个方法我们在地球上无法复刻实现。使用托卡马克装置是磁力场约束核聚变的方法。目前世界各国的主攻可控核聚变的方式都是磁约束的方向，这也是最有希望实现可控核聚变的方式。

由于核聚变需要极高温度，一旦某一环节出现问题，燃料温度下降，聚变反应就会自动中止。托卡马克装置的作用就是可以长时的约束高温的等离子体，让核聚变的反应可以持续并可控。不过随着核聚变的反应堆增大，托克马克装置越来越复杂，对其内部配置的重复反复运行设置要求越来越高。

为了优化等离子体的稳定性、封闭性和能量排放，需要在托卡马克内设计反馈控制器以精确控制磁耦合的线圈来操纵磁场，以达到理想的等离子体电流、位置和形状。这个问题也就是著名的“托卡马克磁控制问题”。

但这个控制过程是非线性、实时变化、多变量的，非常复杂，需要花费大量的工程、设计和专业知识，同时还要进行复杂的平衡估计实时计算调控的电流。对于传统的计算机模型和模拟方式来说，不一定能够起到优化的作用，精确性无法保障。

而这也是AI所擅长的，深度强化学习可以作为全新的处理复杂核聚变方式，用来设计这个非线性的反馈控制器。将核试验科学家们的大脑从如何设置的怪圈中解放。

融合蓄势

DeepMind的团队，花费了整整三年时间，来解决核聚变实验中的可控问题。我们知道深度强化学习的运作原理是智能题与环境间的交互学习，通过目标设置和奖励反馈来运行。

在核聚变实验中，科学家们通过强化学习设计的磁性控制器，可以自主学习设计整个控制线圈的电流，既可以满足苛刻的物理操作约束条件，也能够实现稳定的输出控制，大大减少研究者的设计工作量。

在托卡马克磁约束控制器的设计中，主要的思路是先为核聚变实验指定约束控制的目标，通过深度强化学习算法，找到满足约束条件和目标的最优策略，零样本的神经网络控制策略最终在托卡马克的硬件设备上运行。最终生成了一系列的不同等离子控制配置，深度强化学习系统可以对这些配置的位置、电流和形状进行精确地跟踪，并可以实现实时控制。

如果用一句话来概括AI赋予了核聚变实验什么优势，那就是深度强化学习极大地减少了磁约束控制器的开发周期，加速了科研人员对替代性等离子体配置的研究。

在一些实时的动态变化中，所有的试验操作结果都瞬息万变，依赖人与机器的经验并不能完全的实现最优解，深度强化学习是相较人类来说最完美的最佳武器。不过深度强化学习也存在一些局限，也是未来值得去突破的方向，包括：

1.在很多实际应用中，目标并不是很明确，多元感知信息的处理存在局限。例如在多轮对话系统中目标设置“表现得像人”，然而这个目标无法清楚地进行数学描述。

2. 奖励函数系数，奖励函数噪声处理的局限，难以探索到优质解。

3. 泛化能力与鲁棒性在一些情境中比较差，很多结果处在过拟合的区域。从强化学习的算法策略角度来看，可能是算法存在估值偏差，也有可能是面对非静态智能体时,存在判别不准确的局限性。

而在核物理领域中，在人类智识界限的边缘，随着聚变反应堆的增大，对于托卡马克装置的复杂度要求也就越高。更多数量的等离子体控制需要更高的准确性和可靠性试验，而这一切需要深度强化学习进一步的策略优化和更加严格的控制，才能突破。AI控制的核聚变反应加速了核聚变清洁能源规模化到来的一天。

触碰极限的边界

可控核聚变的终极目标，就是让海水中大量存在的氘在高温条件下像太阳一样发生核聚变，为人类提供源源不断的清洁能源。

在AI的赋能下，我们可以探索一些原本依靠智识无法到达的领域突破界限。在漫长的科研领域中，AI加速我们到达彼岸的距离。

在自动驾驶研究的领域中，决策的系统也跟核物理一般，存在许多实时的变量，如：不同地方的限速不同，是否是可行驶区域，如何躲避障碍等问题。轨迹优化，运动规划，动态路径，最优控制，以及高速路中的情景学习策略等都可以与深度强化学习结合。

而在工业领域的研究中，基于强化学习的机器人智能体可以处理执行各种任务。不仅效率比人高，还可以拥有无比强大的安全性。

在科研中，无数约束条件的范围内起舞，不会终止地向深处前行，需要深度强化学习带来突破的力量，虽然现阶段结果可能会受到网络结构、奖赏比例、随机种子、随机实验、环境、程序实现等的影响，但这也是未来攻坚克服的方向。

如何简洁的概括深度强化学习带给科研的力量，AI制药和AIphaFold2模型解析蛋白质这两个例子最能够清晰阐释价值所在。一个是效率的极大提升，另外就是研究疆域的开拓。这也加速了科研的进程，一方面给研究人员带来极大的便利，另一方面也对研究人员的综合能力提出了考验：对于跨界领域的输入与输出学习，以及脑力在科研本身的延伸。

在科研、工业、交通、金融、生物等领域，深度强化学习的技术意义深远，复杂多变的客观因素与最优的价值排序之间，有了连接。AI架起了这座桥梁，通向未来的演绎朝着不可预测的方向驶进。

拿核聚变实验来说，发展可控核聚变技术意义深远，导向的是人类最大的困扰--能源问题。借由AI赋能的可控规模化核聚变实现的可能性更大，所带来的接近无限的清洁能源将会彻底解决能源问题。廉价的能源不仅加快经济建设和工业生产，同时也会改善环境的治理。

更深一步的话，复杂的多变量问题如果得到规模化集中解决，将会释放出巨大的能量，这也意味着人类将会进入一个新的纪元。

当所有的领域都经过AI技术的催化，深度与广度得到极大的跃升，人类的智识到了进化的边界，或者说是机器与人的协同达到了发展的顶峰，基础的生存困扰解决了，精神的全面升阶开始。束缚人类几万年的生存枷锁脱落，诞生出的文明将会是什么模样？这样的局面依托人类的智识去触碰是龟速爬行，但借由AI我们会如乘坐“火箭”的速度一般，探索到接近极限的边界。