机器学习如何在战场上做出生死抉择？人类负责道德，机器负责速度

Posted 2021-04-27 ScienceAI

编辑/大路

1946年，《纽约时报》披露了二战的最高机密之一——「一台惊人的机器，第一次将电子运算应用于困难繁琐的数学任务。」这台机器的创造者之一提出，它的目的是「尽可能地取代人脑」。当然，这个早期版本的计算机并没有取代人脑，但它确实开创了一个新的时代，按照历史学家吉尔-莱波尔的说法，「技术变革的速度远远超过了人类的适应能力」。

随着机器学习在军队指挥和控制领域上的应用，这个「变革」时代还在继续。机器学习的应用在某些领域已经成为现实：例如，美国空军将其视为军用飞机上的「飞行辅助人员」；美国陆军也在使用它为头盔传感器识别目标提供助力。

使用人工智能的U-2侦察机

此外，军方正在向使用机器学习算法来指导机器人系统、分析大量数据集、预测威胁和制定战略的方向迈进。通过在这些及其他领域使用人工智能，他们也取得了非常显著的军事进步：从在规划中节省时间，到在人机对战中超越人类飞行员，再到使用多假设语义引擎来提高我们对全球事件和趋势的理解。

当然，也有一些负面影响——机器学习伴随着道德风险，军方可能会将生死抉择拱手让给算法，而拱手让出选择权则会放弃自己在道德上的决策地位。

到目前为止，关于算法在战场选择中的作用的争论是非此即彼的。要么是算法应该做出生死抉择，因为在日益自主化的战场上没有其他方式可以跟上它们的即时运算速度；要么是人类应该做出生死抉择，而原因呢，也是战争中确实没有其他方式可以去维持我们的道德地位。

但这种争论其实是一种错误的二元对立。选择从不是一个单一的东西——既不能完全交给算法，也不能只由人决定。

在决策的各个层面（即战术、作战和战略），选择往往都是几个步骤的结果。问题不在于是算法还是人应该做出生死抉择，而是在这个过程中，每个人（或机器）应该负责哪几个步骤。通过将选择分解为具体的部分，并对军人进行决策的科学培训，军队就有可能达到既提高决策速度、又保持道德地位的完美前景。

本文就此提出了如何做到这两点的一些建议，描述了选择的通常组成成分，然后讨论了这些成分中哪些应该由机器学习算法来执行，哪些需要人类输入。

决策是什么以及做出决策所需的条件

首先假设这样的情景，一名战斗机飞行员正在猎取地对空导弹设施。当飞行员进行攻击时，他会确定他的选择，即相对于他面前的其他可能性，去最大化获取净收益。

他可能不会有意识地用这些术语来处理这个决策，也可能不会完美地进行计算，但他往往还是在试图确定哪个决策能使预期成本和收益达到最佳。

要说明的是，战斗机飞行员的例子并不是为了约束讨论。无论决策者是前线的扣动扳机者还是遥远的作战中心里的指挥官，这些基本的概念和过程都是类似的。当然，在更高的责任层次上，决策的范围和细节也会发生变化，从冒一个单位的风险到许多单位的风险，或者从冒一个旁观者的生命的风险，到冒数百人的风险。无论决策者身处何地，选择都需要同样的四个基本步骤。

第一步是列出决策者可以选择的方案。 上面例子里的战斗机飞行员，可能有两种选择：从相对更安全的远距离攻击导弹系统，或者从风险更大但成功攻击概率更大的近距离攻击。

第二步是把这两种选择分别定义相关的可能结果。 在这种情况下，飞行员的相关结果可能包括：摧毁导弹设施而生存，摧毁导弹设施而牺牲，未能摧毁导弹设施但生存，最后，未能摧毁导弹设施而也未能生存。

第三步是进行条件概率估计 ，或者说假设给定的备选方案，对每种结果的可能性进行估计。如果飞行员近距离飞行，他摧毁目标并存活下来的概率是多少？从远距离攻击的概率又是多少？以此类推，每一种选择的每一种结果。

到目前为止，飞行员已经确定了他能做什么，可能发生的结果是什么，以及每种结果的可能性有多大。现在他需要说出他对每个结果的重视程度。要做到这一点，他需要确定他对选择中起作用的每一个价值维度的关心程度，用高度简化的术语来说，就是摧毁导弹对任务的好处，以及牺牲他的生命、目标战斗人员的生命和旁观者的生命所带来的代价。

仅泛泛而谈「摧毁导弹是有利的，牺牲生命是有代价的」是不够的。他需要把利益和成本放到一个共同的度量中——也被称为效用，这样一者的价值就可以直接与另一者的价值进行比较。 这种相对比较被称为价值权衡，是这个过程的第四步。

无论决策者是在战术边缘还是在做高层决策，权衡的基本形式都是一样的。决策者需要权衡实现军事目标的价值与实现目标所需的美元和生命（友军、敌军和平民）的代价。这种权衡既是一种道德判断，也是一种军事判断——它在为军事目标付出代价的同时，也为生命付出了代价。

一旦完成这四个步骤，理性选择就是一个相当简单的数学比较问题。效用是根据结果的可能性来加权的，即高可能性的结果得到更多的权重，更有可能推动最终的选择。

需要注意的是，对于人类和机器决策者来说，理性并不一定等同于道德或成功。理性选择过程是在不确定的情况下，优化决策者所说的价值的最佳方式。它并不是说自己的价值观是正确的，也并不能保证有好的结果。其实，好的决策偶尔还是会导致不好的结果，但从长远来看，这个决策过程可以优化结果。

至少在美国空军，飞行员不会在驾驶舱里有意识地进行预期效用计算。假设他们应该这样做也是不合理的，因为执行任务已经足够具有挑战性了。并且，对于人类决策者来说，明确地通过预期效用来计算步骤也是不切实际的，至少在战场上是如此。

然而，对于机器来说，情况就不同了。如果军方想要在战场上使用算法来实现决策速度，那么就需要让决策的组成部分在计算上变得可控。也就是说，上述四个步骤需要简化为数字。 问题就变成了能否以这样的方式去提供数字，然后将机器能带来的速度和只有人类才能提供的道德判断结合起来。

哪些地方算法更好，哪些地方需要人类的判断？

想通过计算机和数据科学的进步，发挥前面假设的机器学习的威力，还有很长的路要走。军方应该继续大力投资数据建模和模拟能力的研发。然而，在做这些工作时，我们建议算法应该列出备选方案、定义相关可能的结果，并给出有条件的概率估计（理性决策的前三步），偶尔也要有人工输入。确定价值的第四步应该仍然是人类判断的专属领域。

机器应该生成替代方案和结果，因为它们最擅长面对这些步骤所需的复杂性和基于规则的快速处理。在上面的简化例子中，只有两种可能的替代方案（近距离攻击或远距离攻击），有四种可能的结果（摧毁导弹并存活、摧毁导弹并不存活、不摧毁导弹并存活、不摧毁导弹并不存活）。当然，作战的实际情况会复杂得多。机器应该将更适合处理这种复杂性，探索众多的解决方案，甚至阐明作战人员可能没有考虑过的方案。

但这并不是说，人类将在这些步骤中不发挥作用。机器在生成替代方案和结果时，需要做出假设和选择起点，而人类的创造力和想象力在这里可以帮助很多。

此外，毫无疑问的是，机器更适合第三步——估计不同结果的概率 。人类对概率的判断往往依赖于启发式方法，比如记忆中可用的例子有多少，而不是更准确的指标，比如相关的基本率，或者某个事件在历史上发生的频率。在理解一连串事件的概率方面，人们就更差了。

即使是相对简单的两个条件概率的组合，也是大多数人无法做到的。当不具代表性的训练数据将偏差编码到所产生的算法中时，可能会出现人类输入的空当，而人类更有能力识别和纠正这些偏差。但即便如此，偏差也应该是有边际的，而不是完全放弃算法估计，转而依赖直觉。概率和长除法一样，是一个最好留给机器的舞台。

虽然机器在第一到第三步中偶尔会以人类的投入为主导，但在第四步进行价值权衡时却恰恰相反。这是因为价值权衡既要抓住道德和军事的复杂性，许多指挥官已经知道。即使有完美的信息（例如，任务会成功，但会让飞行员付出生命的代价），指挥官仍然会在做出决定上很纠结。事实上，是否应该以及如何做出这样的权衡，是「义务论」或「后果论」等伦理理论的精髓所在。而确定哪些军事目标能最有效地成功(无论如何界定)，也是军事规划中始终存在争议的部分。

只要指挥者和操作者仍然负责最后的权衡，即使他们较少参与决策过程的其他组成部分，他们就可以保持对决策中道德性的控制和责任。值得注意的是，这种控制和责任也可以预先建立在实用功能中，使系统在必要时以机器速度去执行。

前进之路

将机器学习和人工智能纳入军事决策过程远非易事，但这是可能的，也是军事上的需要。

通过确保决策者和技术开发人员能充分理解人机分工，军方就有可能成功选择具体的机器辅助。

首先，军方应该扩大发展教育计划，使其严格地、反复地涵盖决策科学，美国空军已经开始在其Pinnacle课程中这样做，这是空军为二星和三星将军提供的高管教育计划。军事决策者应该学习上述步骤，同时也要学会识别和控制固有的偏见，只要有人类投入的空间，就会形成决策。

数十年的决策科学研究表明，直觉决策中充斥着系统性偏差，如过度自信、对沉没成本的非理性关注，以及仅仅根据如何构思选择而改变风险偏好。这些偏差并不只限于人，当训练数据包含了人的典型偏见时，人工智能在模型训练中就学进了这些偏见。即使算法和人分担决策责任，良好的决策也需要意识到并愿意对抗偏见的影响。

军方还应该要求技术开发人员解决道德和责任问题。开发者应该能够证明，在算法生成的备选方案、结果和概率估计清单里，没有偏向于肆意破坏的方式。此外，任何涉及确定目标或将军事目标与影响这些目标的可能手段配对的系统，都应能向负责使用武力的决策者表明明确的问责关系。

这样做的一个手段是围绕本文概述的决策模型，设计出支持机器学习的系统，该模型通过人类决策者的列举价值保持对他们的问责。为了实现这一点，指挥官应坚持保留“定制价值”输入的能力。除非输入机会是直观的，否则指挥官和部队将重新回到他们更习惯的更简单的、经过战斗检验的工具——同样的老式收音机或武器，或者为了决策目的而使用幻灯片。

开发人员可以通过以可视化的形式提供概率估计，帮助使概率估计更加直观。同样，他们也可以通过提出不同的假设（但现实的）选择来帮助决策者完善他们的价值判断，从而使价值权衡更加直观。

通常来说，指挥官难以完成的任务是，在特定的环境下想象一些潜在的结果，并赋予一个数字分数或 效用，以便对它们进行有意义的比较。例如，指挥官可能会把摧毁敌方航空母舰的分值定为1000分，而把损失一架战斗机的分值定为-500分。如果这准确地反映了指挥官的价值，那么他应该在「没有战斗机损失、摧毁一艘敌方航母的攻击」和「摧毁两艘航母但损失两架战斗机」的攻击之间无动于衷。因为两者的价值相同，都是1000点。

如果指挥官强烈倾向于一种结果而不是另一种结果，那么就应该调整点数以更好地反映实际价值，否则使用该点数系统的算法就会做出与指挥官的价值不一致的选择。这只是如何引出权衡的一个例子，但关键的一点是，权衡需要以精确的方式给出。

最后，军方应特别注意帮助决策者熟练地扮演价值评估者的角色，特别是在决策时，重点是要冒谁的生命危险、何时、为了什么目标。在未来的指挥控制范式中，决策者很可能被要求将这种权衡以明确的形式记录下来，以便机器能够理解它们（例如，「我认识到有12%的概率你无法在这次任务中存活，但我判断目标的价值是值得冒险的」）。

如果战术、操作或战略层面的决策者没有意识到或不愿意支付这些道德成本，那么机器辅助选择的结构就会崩溃。它要么会崩溃，因为机器无法在没有明确权衡的情况下协助人类选择，要么因为决策者及其机构会因为允许机器掩盖其价值模型所隐含的权衡，而在道德上受到损害。

这两种结果都不是可以接受的。相反，作为一个机构，军队应该接受必要的透明度，这与对生命和死亡做出列举式判断的责任有关。矛盾的是，记录风险容忍度和价值分配可能有助于提高冲突期间下属的自主性。

对决策者的价值权衡进行正式建模的一个主要优势是，它允许下属--甚至可能是自主机器--在决策者不在场的情况下采取行动。这种机器辅助的决策过程能够实现规模化的分散执行，甚至比最精心制定的交战规则或指挥官的意图更能反映领导者的价值观。只要权衡利弊可以追溯到决策者，那么道德责任就在决策者身上。

保持价值至上

电子数字积分器和计算机，现在已经成为历史的文物，它是1946年《纽约时报》披露的「最高机密」。虽然作为机器本身很重要，但计算机的真正意义在于它的象征意义。它代表了技术冲刺在决策者前面的能力，偶尔也会把他们拉到他们不想去的地方。

军方应该在机器学习的投资上竞相前进，但也要注意指挥官价值的首要性。如果美军希望在这一问题上与中国和俄罗斯保持同步，那么它就不能耽误开发「在执行决策中，复杂但不会让人望而生畏的」机器，去识别替代方案、结果和概率。同样，如果我们希望在这场算法军备竞赛中仍保持其道德地位，就应该确保「价值权衡」仍然是指挥官的责任。

我们对如何最好地利用人工智能、机器学习、计算机视觉和类似技术的惊人进步，来释放军队最宝贵的武器系统——穿制服的男女军人的持续辩论和艰苦讨论感到鼓舞。但军方现在就应该采取措施，确保这些人以及他们的价值观仍然是战争中的关键角色。

https://warontherocks.com/2021/01/machine-learning-and-life-and-death-decisions-on-the-battlefield/

人工智能 × [ 生物 神经科学 数学 物理 材料 ]

「别闹了机器」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展。

欢迎关注标星，并点击右下角点赞和在看。

点击阅读原文，加入专业从业者社区，以获得更多交流合作机会及服务。