人工智能，价值与校准

Posted 2021-04-26 科技组织与公共政策研究

人工智能，价值与校准

Artificial Intelligence, values and Alignment

 

DeepMind

翻译：魏露露

 

【编者按】：近期外卖骑手“困于系统”的话题引起社会的普遍关注。过度依赖骑手的速度、效率等参数，而忽略安全性的平台算法显然在“价值校准”方面存在严重偏差。本期文章从工程师的视角探讨向智能系统注入人类价值的问题和方法。DeepMind公司成立于2010年，2014年开始与Google合作。该机构主要由科学家、工程师、机器学习专家等组成，致力于推动人工智能的发展，探索将技术用于广泛的公共利益和科学发现，确保安全和道德的最高优先级。DeepMind入选宾夕法尼亚大学的2019年《全球最佳人工智能类智库榜》。

 

一、核心观点

本文探讨了在人工智能校准中的哲学问题，主要论证了三个命题。首先，人工智能校准问题的规范性和技术性是相互关联的，因而为在这两个领域的工作者创造了富有成效的参与空间。第二，明确校准的目标很重要。AI基于指令、意图、显示偏好、理想偏好、利益或价值等的校准之间存在显著差异。基于原则的人工智能校准方法，将这些要素系统地结合起来，在这种情况下具有相当大的优势。第三，理论家们面临的核心挑战不是为人工智能确定 "真正的 "道德原则，而是确定公平的校准原则，尽管人们的道德信仰存在广泛的差异，但这些原则仍能得到反思性的认可。文章的最后一部分提出了确定人工智能校准的公平原则的三种方法。

 

二、主要内容

 “价值校准”（value alignment）问题的核心是如何确保人工智能系统与人类的价值观适当地保持一致。这个问题可以分为两个部分。第一部分是技术性的，重点是如何将价值或原则编码到人工代理中，使它们可靠地做它们应该做的事情。第二部分是规范性的，主要讨论在人工智能中编码什么样的人类价值或原则是正确的。

 

第二个问题特别关注我们生活在一个多元的世界的事实，人们对价值有不同的信念。因此由于存在意见的不统一，我们需要设计出公平地对待人们并获得广泛支持的AI校准原则。

 

三、道德考量

 

任何新技术的开发与应用都会产生道德层面的考量。随着计算机系统能够以更大的自主性和更快的速度运行，导致人类无法对智能系统的每一个行动的负责性或道德性进行评估。给“人工代理人”（artificial agents）注入道德价值的任务变得尤为重要和艰巨。

 

虽然技术专家在构建尊重和体现人类价值的系统方面可以发挥重要作用，但选择适当价值的任务无法仅靠技术工作解决。当我们审视实现价值校准的不同方式时，这一点就变得很清楚了，例如在强化学习范式中即是如此。

 

向强化学习算法注入价值的方式有两类。

 

第一类方法试图为“人工代理人”指定一个奖励函数，使其促进正确的结果，并以被广泛认为是道德的方式行事。因此我们需要为“人工代理人”指定适当的目标，并将其编码到人工智能系统中，而这远非简单的事情。

 

第二类方法有所不同。它不是试图在前期为智能系统指定正确的奖励函数，而是研究“人工代理人”可以从人类行为或人类反馈的例子中学习正确奖励的方法。因而问题就变成了根据什么数据或反馈来训练人工智能系统，以及如何证明这个决定是合理的。

 

无论选择哪种方式，重要的规范性问题仍然存在，因而与什么价值进行校准就成为关键的规范性问题。

四、与什么校准？

 

人工智能研究人员关注的一个技术重点是他们所构建的系统能够正确响应人类的指示和控制。事实上，正如Stuart Russell所指出的那样，“人工代理人”必须能够理解他们所得到的指令的真正含义，同时不以字面意思过度解释这些指令--米达斯王的故事就是一个警示。

（注：米达斯王（King Midas）希望自己所触碰的一切都能变成金子。然而，他没有想到，这个愿望其实不是一种幸福，而是一种悲剧。他的贪婪让我们思考片面的价值认知可能导致我们误解幸福的真正内涵。）

 

与此同时，越来越多的人认识到，人工智能系统可能需要超越这一点：在设计上，即使在没有人类操作者直接指示的情况下，也要引导它们默认做正确的事情。

 

一种方法认为，人工智能的设计应该与人类的偏好保持一致。通过这种方式，AI系统将学会避免极少数人想要或希望的结果。然而，这种方法也有缺陷。显示偏好可能是非理性的，或者是基于虚假信息，也可能是恶意的。此外，偏好有时是 “适应性的”：一个贫穷或受到歧视的人可能会下调他们的希望和期待，以避免失望。要求算法与现有的人类偏好保持一致，可能导致人工智能依据严重受损或存在偏差的数据选择行动。

 

为了解决这个弱点，我们建议人工智能系统需要对内在的人类利益和价值（underlying interests and values）做出适当的回应。基于原则的人工智能校准方法，综合考虑所有的因素，将降低伤害发生的可能性，更可能发展出促进人类福祉的智能代理人系统。以原则为基础的校准方法还可以对其他考虑因素保持敏感，如后代福利、非人类动物和环境保护因素等。

 

五、人工智能价值校准三种方法

 

人工智能价值校准所面临的主要挑战不是确定 “真正的”道德原则，并将其编码到人工智能中。因为即使我们对单一的道德理论的真实性有很大的信心，仍然会有不同信仰和观点的人与我们意见相左。相反，我们应该尝试找出那些归属各种合理观点的人所能接受的一致性原则。如何确定人工智能价值校准的原则？这类原则至少可以通过三种不同的方式得出。

 

1. 一种方法是研究世界各地的人们所持有的道德信仰之间是否有一种重叠的共识。如果存在这样的共识，那么人工智能就可以与之保持一致，并有可能获得广泛的支持，而不会遇到价值强加的问题。在这方面，人权（human rights）特别有希望。因为虽然普遍人权的概念并非完全没有争议，但它们所体现的原则在实践中得到了大量的国际支持。它们在非洲、伊斯兰、西方和儒家哲学传统中也能找到理由。

 

2. 第二种多元价值校准的方法试图用 “无知之幕”的理念为人工智能建立正义原则的模型。“无知之幕”是哲学家约翰∙罗尔斯提出的一种手段，目的是帮助具有不同价值观和观点的人就社会正义原则达成一致。其核心主张是，在选择正义原则时，人们应该从一个想象的立场出发，在这个立场上，他们不知道自己在这个社会中会是谁，也不知道自己会持有什么具体的道德观。因此，他们会不偏不倚地进行审议，并选择不对自己过分有利的原则。类似的方法也可以用来模拟人工智能的原则。

 

虽然在不了解更多的有关人工智能的具体形式的情况下，很难说人们会在这种情况下做出什么选择，但总体上希望确保智能技术是安全的，人类可控的，且能够均衡利益分配，似乎是可信的价值共识。

 

3. 最后一种方法是如何利用社会选择理论来结合不同的观点，为人工智能应该采取的方向提供可用信息。有学派提出将个人偏好用数学方法整合成一个单一的排名，以用来指导人工智能。而更有前途的还是民主方法，如投票和广泛的协商。当这些公共选择的方法能够成功使用时，将为系统带来平等的价值，并有可能确保人工智能校准的原则拥有最广泛的正当性（widespread legitimacy）。

 

六、未来研究

 

这里讨论的每一项建议都是探索性的。它们可以以许多不同的方式加以发展和组合。

 

本文受益于五十多位专家学者提供的反馈意见，包括在斯坦福大学、普林斯顿大学、PAI、华威大学和加州大学伯克利分校召开的研讨会上的众多听众。展望未来，希望本文能够为人工智能系统及其与人类价值观的校准对话做出贡献。

END

【声明】

本报告由科技组织与公共政策研究院编译出品，仅做公益交流，非商业目的。文中观点不代表研究院的立场，内容和图片如涉及知识产权问题，请及时联系我们修改删除，如需转载请注明出处。

联系方式：[e-mail]