AI好书推荐《对齐问题：机器学习和人类价值观》 Posted 2021-04-27 技福教育
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了AI好书推荐《对齐问题：机器学习和人类价值观》相关的知识，希望对你有一定的参考价值。
数十年来，人们一直在尝试以自己的形象开发人工智能。
在此过程的每个步骤中，人们都设法创建了可以执行出色壮举并同时令人惊讶地犯下愚蠢错误的机器。
经过60年的研究和发展，让人工智能系统与我们的目标、意图和价值观保持一致仍然是一个难以实现的目标。人工智能的每个主要领域似乎都能部分解决复制人类智能的问题，同时在关键领域留下漏洞。当我们将现有的人工智能技术应用到我们期望智能代理按照我们期望的人类的理性和逻辑行事的领域时，这些漏洞就会成为问题。
程序员
正如克里斯蒂安（Christian）所述：“随着机器学习系统的发展不仅日益普及，功能也越来越强大，我们将越来越发现自己处于'魔法师的学徒'的位置：我们会产生一种力量，这种力量是自主的，但完全合规。我们赋予了它一种指令集，一旦我们意识到我们的指示是不准确或不完整就疯狂阻止它。”
在《结盟问题》中，克里斯蒂安（Christian）全面描述了人工智能的现状以及我们如何到达这里。他还讨论了创建AI的不同方法中缺少的内容。
在AI研究的前几十年中，符号系统在解决需要逻辑推理的复杂问题方面取得了举世瞩目的成就。然而，它们在完成每个人在年轻时所学的简单任务时就很糟糕，例如检测物体，人，声音和声音。他们的伸缩性也不佳，需要大量的人工来创建定义其行为的规则和知识。
最近，对机器学习和深度学习的兴趣日益增长，已帮助推动了计算机视觉，语音识别和自然语言处理，而这正是符号AI一直在努力的领域。机器学习算法可以随着数据和计算资源的可用性而很好地扩展，这在很大程度上是它们在过去十年中如此流行的原因。
尽管机器学习算法取得了令人瞩目的成就，但它们却是将观察结果映射到结果的复杂数学功能的核心。因此，它们与数据一样好，并且随着世界面临的数据开始偏离训练期间看到的示例而开始破裂。
在《对齐问题》中，克里斯蒂安浏览了许多示例，其中机器学习算法导致了令人尴尬和破坏性的失败。一个流行的例子是Google Photos分类算法，该算法将肤色黝黑的人标记为大猩猩。问题不在于AI算法，而在于训练数据。如果Google在更多的皮肤黝黑例子上训练了该模型，就可以避免灾难。
克里斯蒂安写道：“当然，从理论上讲，该系统可以从一组示例中学到任何东西的问题是，它会发现自己，然后受其教导的示例的摆布。”
更糟糕的是，机器学习模型无法辨别是非，无法做出道德决策。机器学习模型的训练数据中存在的任何问题都会以细微和不起眼的方式反映在模型的行为中。
例如，在2018年，亚马逊关闭了用于做出采用决策的机器学习工具，因为其决策偏向女性。显然，没有一个AI的创造者希望该模型根据性别来选择候选人。在这种情况下，根据公司的历史招聘数据进行训练的模型反映了亚马逊内部的问题。
这只是机器学习模型发现训练数据中存在的偏见并以其自己独特的方式放大它们的几种情况之一。这也是对信任机器学习模型的警告，该模型是根据我们从过去的行为盲目收集的数据而训练的。
“对世界进行建模是一回事。但是，一旦您开始使用该模型，就会以各种方式改变世界。在许多机器学习模型的基础上有一个广泛的假设，即模型本身不会改变其建模的现实。在几乎所有情况下，这都是错误的。”克里斯蒂安写道。“实际上，不谨慎地部署这些模型可能会产生一个反馈循环，由此恢复变得越来越困难或需要更大的干预。”
人工智能与收集数据，查找模式并将这些模式转变为行动有很大关系。但是，尽管我们通常尝试将智能决策简化为一小部分输入和输出，但是机器学习的挑战表明，我们对数据和机器学习的假设常常被证明是错误的。
“我们需要批判性地考虑……不仅要从哪里获取训练数据，还要从哪里获取可以在系统中用作地面真理的替代品的标签。基督教徒警告说：“地面真理常常不是地面真理。”
在过去的十年中，人工智能的另一个分支获得了广泛的关注，即强化学习，这是机器学习的一个子集，其中为模型提供了问题空间和奖励函数的规则。然后，该模型将留给自己探索空间，并找到最大化其回报的方法。
“强化学习......我们提供了一个强大的，甚至普遍的，什么智能的定义是，”基督教写。“如果像计算机科学家约翰·麦卡锡（John McCarthy）所说的那样，智能是'实现世界目标的能力中的计算部分'，那么强化学习将提供一个惊人的通用工具箱。确实，它的核心原理很可能一次又一次地被进化所误解，并且很可能成为二十一世纪所拥有的任何人工智能的基础。”
强化学习是科学成就的背后，例如掌握了Atari游戏，Go，StarCraft 2和DOTA 2的AI系统。它在机器人技术中也有许多用途。但是，这些成就中的每一项也证明，单纯追求外部奖励并不完全是智力的工作原理。
一方面，强化学习模型需要大量的训练周期才能获得简单的结果。因此，该领域的研究仅限于由非常富有的公司支持的一些实验室。强化学习系统也非常严格。例如，在冠军级别玩《星际争霸2》的强化学习模型将无法再玩其他具有类似机制的游戏。强化学习代理也倾向于陷入无意义的循环中，从而以牺牲长期目标为代价来最大化简单回报。一个例子就是这种竞速AI，它通过不断收集奖励物品而没有考虑赢得比赛的更大目标，从而设法入侵了环境。
“拔掉硬连线的外部奖励可能是构建真正的通用AI的必要部分：因为与Atari游戏不同，生活没有预先标有关于我们每个行为的好坏的实时反馈，”他写道。“当然，我们有父母和老师，他们可以纠正我们的拼写和发音，偶尔可以纠正我们的行为。但是，这几乎不能涵盖我们所做的一切，说出和思考的内容，而且我们生活中的权威并不总是同意。此外，我们必须学会根据自己的看法和为自己做出判断，这是人类生存条件的主要仪式之一。”
克里斯蒂安还建议，虽然强化学习从奖励开始，并发展使奖励最大化的行为，但相反的情况可能更加有趣和关键：“鉴于我们希望从机器中获得的行为，我们如何构建环境的奖励以实现这种行为？当我们坐在观众后方，批评家的椅子上—我们管理食物颗粒或它们的数字等效物时，我们如何得到我们想要的东西？”
在Alignment Problem中，Christian还讨论了开发AI代理的含义，这些AI代理通过纯粹模仿人类行为来学习。自动驾驶汽车就是一个例子，它通过观察人类的驾驶来学习。
模仿可以创造奇迹，尤其是在规则和标签不明确的问题中。但是，模仿再次描绘了智力难题的不完整图景。我们人类通过模仿和死记硬背学习了很多东西，尤其是在年轻的时候。但是模仿只是我们用来发展智能行为的几种机制之一。当我们观察他人的行为时，我们也会根据自己的限制，意图，目标，需求和价值观来调整自己的行为版本。
克里斯蒂安写道：“如果某人从根本上比您更快或更强壮，或者大小比您大，或者比您想象的更快，那么将他们的行为模仿到完美可能仍然行不通。” “的确，这可能是灾难性的。如果你是他们，你会做的。但是你不是他们。而且，如果他们是您，您所要做的并不是他们会做的。”
在其他情况下，人工智能系统使用模仿来观察和预测我们的行为并尝试为我们提供帮助。但这也带来了挑战。人工智能系统并没有像我们一样受到相同的约束和限制，它们常常会误解我们的意图和对我们有好处的东西。他们没有保护我们免受不良习惯的困扰，反而扩大了不良习惯，并迫使我们逐渐养成他人的不良习惯。他们正在我们生活的各个方面无处不在。
克里斯蒂安写道：“我们的数字管家正在密切注视。” “他们看到了我们的私人生活以及我们的公共生活，我们的最好与最坏的自我，而不必知道哪个是哪个或根本没有区别。他们大体上生活在一个诡异而复杂的山谷中：能够从我们的行为中推断出我们的欲望的复杂模型，但是却无法被教导并且不愿合作。他们在努力思考下一步该怎么做，如何做下一个任务，但他们似乎并不了解我们想要什么，更不用说我们希望成为谁了。”
机器学习的进步表明，我们已经朝着创造思维机器的目标迈进了多远。但是，机器学习的挑战和对齐问题也使我们想起了在创建人类级智能之前必须学习的知识。
AI科学家和研究人员正在探索几种 不同的 方法来克服这些障碍，并创建可以使人类受益而不造成伤害的AI系统。在此之前，我们将必须谨慎行事，并提防我们为模仿表面人类智能的系统分配了多少信誉。
克里斯蒂安警告说：“在机器学习中，否则可能会做的最危险的事情之一就是找到一个相当不错的模型，宣告胜利，从此开始将地图与领土混淆。”
以上是关于AI好书推荐《对齐问题：机器学习和人类价值观》的主要内容，如果未能解决你的问题，请参考以下文章
朱松纯团队最新研究：机器人可与人类“推心置腹”！还说下一步要造“AI大白”...
让机器像人类一样学习？
数据标注有发展前景吗？
AI简介
AI人工智能 机器学习 深度学习 学习路径及推荐书籍
由一亿多条仇恨言论训练后，这个AI机器人成了恶毒的“键盘侠”
