Voyager:AI智能体自主写代码独霸我的世界,完胜AutoGPT

Posted BOTAI

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Voyager:AI智能体自主写代码独霸我的世界,完胜AutoGPT相关的知识,希望对你有一定的参考价值。

继斯坦福的25人小镇后,AI智能体又出爆款新作了。
最近,英伟达首席科学家Jim Fan等人把GPT-4整进了「我的世界」(Minecraft)——提出了一个全新的AI智能体Voyager。
Voyager的厉害之处在于,它不仅性能完胜AutoGPT,而且还可以在游戏中进行全场景的终身学习!
比起之前的SOTA,Voyager获得的物品多出了3.3倍,旅行距离变长了2.3倍,解锁关键技能树的速度快了15.3倍。
对此,网友直接震惊了:我们离通用人工智能AGI,又近了一步。
所以,未来的游戏,就是由大模型带动NPC来玩的吧?

真·数字生命

 

接入GPT-4之后,Voyager根本不用人类操心,完全就是自学成才。
它不仅掌握了挖掘、建房屋、收集、打猎这些基本的生存技能,还学会了自个进行开放式探索。
它会自己去到不同的城市,路过一片片海洋,一座座金字塔,甚至还会自己搭建传送门。
通过自我驱动,它不断探索着这个神奇的世界,扩充着自己的物品和装备,配备不同等级的盔甲,用盾牌格挡上海,用栅栏圈养动物……

论文地址:https://arxiv.org/abs/2305.16291

项目地址:https://voyager.minedojo.org/
Voyager的英勇事迹包括但不限于——

大战末影人

造基地
挖紫水晶
挖金子
收集仙人掌
打猎
钓鱼
数字生命的潜能究竟有多大?我们只知道,现在Voyager仍然在Minecraft中一刻不停地探索,不断扩展着自己的疆域。

「训练」无需梯度下降

 

此前,AI领域的一大挑战就是,构建具有通用能力的具身智能体,让它们在开放世界中自主探索,自行发展新技能。
以往,学界都是采用强化学习和模仿学习,但这些方法在系统化的探索、可解释性和泛化性等方面,表现往往差强人意。
大语言模型的出现,给构建具身智能体带来了全新的可能性。因为基于LLM的智能体可以利用预训练模型中蕴含的世界知识,生成一致的行动计划或可执行策略,这就非常适合应用于游戏和机器人之类的任务。

此前,斯坦福研究者构建出生活着25个AI智能体的虚拟小镇,震惊了AI社区
这种智能体还有一个好处就是,不需要具体化的自然语言处理任务。
然而,这些智能体仍然无法摆脱这样的缺陷——无法终身学习,因而不能在较长时间跨度上逐步获取知识,并且将它们积累下来。
而这项工作最重要的意义就在于,GPT-4开启了一种新的范式:这个过程中是靠代码执行「训练」,而非靠梯度下降。

Jim Fan解释道:我们在BabyAGI/AutoGPT之前就有了这个想法,花了很多时间找出最好的无梯度架构

「训练模型」是Voyager迭代式构建的技能代码库,而非浮点数矩阵。通过这种方法,团队正在将无梯度架构推向极限。
在这种情况下训练出的智能体,已经具备了同人类一样的终身学习能力。
比如,Voyager如果发现自己处在沙漠而非森林中,就会知道学会收集沙子和仙人掌就比学会收集铁矿更重要。
而且,它不仅能根据目前的技能水平和世界状态明确自己最合适的任务,还能根据反馈不断完善技能,保存在记忆中,留在下次调用。

所以,我们离硅基生命出现还有多远?

刚刚回到OpenAI的Karpathy对这个工作表示盛赞:这是个用于高级技能的「无梯度架构」。在这里,LLM就相当于是前额叶皮层,通过代码生成了较低级的mineflayer API。

Karpathy回忆起,在2016年左右,智能体在Minecraft环境中的表现还很让人绝望。当时的RL只能从超稀疏的奖励中随机地探索执行长期任务的方式,让人感觉非常stuck。

而现在,这个障碍已经在很大程度上被解除了——正确的做法是另辟蹊径,首先训练LLM从互联网文本上学习世界知识、推理和工具使用(尤其是编写代码),然后直接把问题抛给它们。
最后他感慨道:如果我在2016年就读到这种对智能体的「无梯度」方法,我肯定会大吃一惊。
微博大V「宝玉xp」也对这个工作给予了高度评价——
真的是了不起的尝试,整个代码都是开源的,这种自动生成任务->自动写代码执行任务->保存一个代码库可以重用的思路,应该是可以很容易应用到其他领域。

Voyager

 

与其他AI研究中常用的游戏不同,Minecraft并没有强加预定义的终点目标或固定的剧情线,而是提供了一个具有无尽可能性的游乐场。
对于一个有效的终身学习智能体来说,它应该具有与人类玩家类似的能力:
1. 根据其当前的技能水平和世界状态提出适当的任务,例如,如果它发现自己是在沙漠而不是森林中,就会在学习收集铁之前学习收集沙子和仙人掌
2. 基于环境反馈来完善技能,并将掌握的技能记入记忆,以便在类似情况下重复使用(例如,与僵尸战斗与与蜘蛛战斗类似)
3. 持续探索世界,以自我驱动的方式寻找新的任务。
为了让Voyager具有上述这些能力,来自英伟达、加州理工学院、得克萨斯大学奥斯汀分校和亚利桑那州立大学的团队提出了3个关键组件:
1. 一个迭代提示机制,能结合游戏反馈、执行错误和自我验证来改进程序
2. 一个技能代码库,用来存储和检索复杂行为
3. 一个自动教程,可以最大化智能体的探索
首先,Voyager会尝试使用一个流行的Minecraft JavaScript API(Mineflayer)来编写一个实现特定目标的程序。
虽然程序在第一次尝试时就出错了,但是游戏环境反馈和JavaScript执行错误(如果有的话)会帮助GPT-4改进程序。
左:环境反馈。GPT-4意识到在制作木棒之前还需要2块木板。
右: 执行错误。GPT-4意识到它应该制作一把木斧,而不是一把「相思木」斧,因为Minecraft中并没有「相思木」斧。
通过提供智能体当前的状态和任务,GPT-4会告诉程序是否完成了任务。
此外,如果任务失败了,GPT-4还会提出批评,建议如何完成任务。

自我验证
其次,Voyager通过在向量数据库中存储成功的程序,逐步建立一个技能库。每个程序可以通过其文档字符串的嵌入来检索。
复杂的技能是通过组合简单的技能来合成的,这会使Voyager的能力随着时间的推移迅速增长,并缓解灾难性遗忘。
上:添加技能。每个技能都由其描述的嵌入索引,可以在将来的类似情况中检索。
下:检索技能。当面对自动课程提出的新任务时,会进行查询并识别前5个相关技能。
第三,自动课程会根据智能体当前的技能水平和世界状态,提出合适的探索任务。
例如,如果它发现自己在沙漠而非森林中,就学习采集沙子和仙人掌,而不是铁。
具体来说,课程是由GPT-4基于「发现尽可能多样化的东西」这个目标生成的。

自动课程

实验

 

接下来,让我们看一些实验!
团队将Voyager与其他基于LLM的智能体技术进行了系统性的比较,比如ReAct、Reflexion,以及在Minecraft中广受欢迎的AutoGPT。
在160次提示迭代中,Voyager发现了63个独特的物品,比之前的SOTA多出3.3倍。
寻求新奇的自动课程自然会驱使Voyager进行广泛的旅行。即使没有明确的指示,Voyager也会遍历更长的距离(2.3倍),访问更多的地形。
相比之下,之前的方法就显得非常「懒散」了,经常会在一小片区域里兜圈子。

地图探索率
那么,经过终身学习后的「训练模型」——技能库,表现如何呢?
团队清空了物品/护甲,生成了一个新的世界,并用从未见过的任务对智能体进行了测试。
可以看到,Voyager解决任务的速度明显比其他方法更快。
值得注意的是,从终身学习中构建的技能库不仅提高了Voyager的性能,也提升了AutoGPT的性能。
这表明,技能库作为一种通用工具,可以有效地作为一个即插即用的方法来提高性能。

零样本泛化
上图中的数字是三次试验中提示迭代的平均值。迭代次数越少,方法越有效。可以看到,Voyager解决了所有的任务,而AutoGPT经过50次提示迭代都无法解决。
此外,与其他方法相比,Voyager在解锁木工具上快了15.3倍,石工具快8.5倍,铁工具快6.4倍。而且拥有技能库的Voyager是唯一解锁钻石工具的。

技能树掌握情况(木工具 → 石工具 → 铁工具 → 钻石工具)
目前,Voyager只支持文本,但在未来可以通过视觉感知进行增强。
在团队进行的一个初步研究中,人类可以像一个图像标注模型一样,向智能体提供反馈。
从而让Voyager能够构建复杂的3D结构,比如地狱门和房子。
结果表明,Voyager的性能优于所有替代方案。此外,GPT-4在代码生成方面也明显优于GPT-3.5。

消融实验

结论

 

Voyager是第一个由LLM驱动、可以终身学习的具身智能体。它可以利用GPT-4不停地探索世界,开发越来越复杂的技能,并始终能在没有人工干预的情况下进行新的发现。
在发现新物品、解锁Minecraft技术树、穿越多样化地形,以及将其学习到的技能库应用于新生成世界中的未知任务方面,Voyager表现出了优越的性能。
对于通用智能体的开发来说,无需调整模型参数的Voyager是可以作为一个起点的。
参考资料:
https://voyager.minedojo.org/

自动驾驶自主编程……人工智能来的太快,连程序员都要下岗了


1


2016年AlphaGo以总比分4:1轻松战胜围棋世界冠军李世石,这是AI第一次震惊世界。


次年AlphaGo又以3:0的比分击败柯洁,面对强大的AI,柯洁遭遇职业生涯“至暗时刻“,中途离场20分钟崩溃大哭。


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了


 后来柯洁说:“我输的没什么脾气,他现在越来越像上帝了。


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了

尽管人工智能一次又一次突破人们的想象,但依然还有很多人认为AI根本无法取代人类。


可是看看下面几个案例,你认为自己的工作能保住吗?


在去年世界互联网大会上,新华社和搜狗推出了一款AI主播,他的表情、动作、声音和《中国新闻》主播邱浩几乎一样。


看下面这张图,你能认出来他是AI还是真人吗?

自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了


2



除了新闻主播,在需要大量重复性劳动的工作岗位中,AI已经开始消灭这些岗位。


今年“618”,京东启用了亚洲电商物流领域规模最大的智能物流仓。


拍照320000次,抓取2000次商品,打包5120件包裹,这是智能机器人在1分钟内交出的答卷。


它比人类效率更高,不会生病,不需要工资,不用缴纳“五险一金”,不需要照顾它的情绪,更重要的是它永远准确、永远服从


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了


刘强东在接受CNBC采访时曾说:“无人机送货相比汽车等交通工具+人员配送,物流费用将下降至少70%!这也意味着大量的快递员、外卖小哥被AI机器人取代!


和快递员有相同遭遇的还有驾驶员。


2016年,北京五环外,一辆红色的小车正在路上行驶,驾驶室只有两个汪星人,这是百度在测试无人驾驶技术。


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了

自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了


人类驾驶时会疲惫、面对紧急状况时会反应不急,而机器永远不会犯这些错误!


于此同时,阿里的无人酒店、无人超市,海底捞的无人餐厅,腾讯的医疗机器人在都在逐渐消灭厨师、前台、服务员、医生等各种职业。


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了

自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了

自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了


2018年李开复在《奇葩说》上表示:“未来十年,人类50%的工作都会被人工智能所取代。


现在看来,李开复的预言正在逐步实现,甚至可能比想象的更快!


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了


3



看到这里,很多程序员可能是暗自庆幸,毕竟再牛逼的人工智能也是由程序员“造”出来的。


事实上,AI的确不能让程序员这个职业消失,但是它将淘汰大部分低端程序员!


早在2017年谷歌已经研究出了能自动生成完整软件程序的机器人,名为“AI Programmer”,其编程水准已经能击败初级程序员。


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了

底层的程序员被部分AI所取代将是不可避免的事情,但在程序员群体中有一类码农非但不受影响,其需求将越来越多,那就是——AI工程师


根据斯坦福调查的数据显示,仅仅这两年,AI人才的需求量就暴增了35倍!而在即将到来的AI时代,这个数据将越来越夸张。


程序员这项工作,吃的是“青春饭”,现在的高薪并不代表以后就能高枕无忧。我们常常看到那些临近中年的程序员因为学习能力、体力跟不上年轻人而被公司淘汰。如果你不想面临同样的“中年危机”,现在转型人工智能是个不错的方向。


而且现在是加入人工智能的黄金期,因为:


1、国家大力扶持

2017年7月,国务院发布《新一代人工智能发展规划》,首次提出“三步走”目标战略,宣布举全国之力在2030年抢占人工智能全球制高点。


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了


2、5G上马加速AI进化

6月6日,国家正式下发5G牌照,这意味着中国在不久后就能进入5G时代,而5G的上马将大大加快AI技术的发展,尤其在自动驾驶、智能硬件等领域。


3、薪资诱人

国家的大力支持,一大批的AI项目迅速上马,使得当前AI人才的薪资待遇远超一般程序员平均薪资。


这是我们整理的部分国内企业AI人才薪资状况:

自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了


其中腾讯、阿里出价最高,不但为候选人奉上60万+的年薪,还附赠一线城市(北京、深圳)的户口。


据《人民日报海外版》报道,工信部教育考试中心副主任周明曾向媒体透露,中国人工智能人才缺口要超过500万!庞大的人才缺口将使AI人才起码10年内都是各大企业的“金疙瘩”。


4、未来AI人才越来越多,早加入早占坑

在今年5月份,全国已经有35所高校获准开设人工智能专业,最快4年后将有一大批AI人才涌入市场。如果你不想4年后给一名应届生打下手,早一步进入这个行业,抢占先机才是关键。


其实很多程序员也看到了自身发展的局限性,也考虑未来转型人工智能,部分动作快的已经开始找教程,自学Python编程、机器学习等内容。


可大部分打算自学的都在半路放弃,这是因为

人工智能的深度、广度远超普通编程,不但要学编程,还要掌握高数、线性代数等数理知识。

网上资料不系统,今天讲Python,明天讲数据分析,知识点杂乱无章,且错误频出。

遇到难题无人解答,很容易陷入死循环。

……


相信所有程序员都清楚:不论是学习普通编程还是人工智能,跟着“程序大佬”才是最快的进步方式。


如果你

对未来的发展路径迷茫不已

如果你

担心靠技术无法度过“中年危机”

如果你

想快速转型尽快入门人工智能

……


那么这里给你准备了一个免费攻读人工智能的机会。


我们邀请了国内外顶尖的AI科学家,并申请到99个免费试听名额。对,你没看错,只要你手速够快,就能免费学习这门价值2048元的人工智能精品课。


顶尖专家学者带队


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了

许铁

巴黎高等师范学院物理硕士

以色列理工学院人工智能博士

在知名人工智能期刊著有论文

著有《机器学习vs复杂系统》一书


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了

童哲

万门创始人
19岁物理竞赛全省第一保送北大
22岁全球前十的成绩考入巴黎高师

26岁录制800余小时免费公开课
27岁被《人民日报》专版报道


许铁老师是人工智能领域的专家,也是万门资深的老师,他之前在万门开设的多门人工智能课程都备受欢迎。通过系统化的学习,许铁老师会带你规划好人工智能学的专业路径,带你从源头进入人工智能的新世界。


这2位老师都是人工智能行业的顶尖高手。在这些老师的指导下,相信你一定会对人工智能有全新的理解。


这堂课中将围绕机器学习、深度学习以及人工智能最常用的编程语言Python展开,勾勒出人工智能学习基本轮廓和学习路径。


考虑到新转型程序员们的学习积极性,这堂课中不会大量使用复杂的数学公式,而是以理论讲解+编程实战扫清你在AI学习工程中的知识盲区,为你进入人工智能行业打好基础。


这门课程将从5个阶段带你学习人工智能。


高等数学:AI必备数学基础

Python入门:数据分析+爬取信息

神经网络:RNN实际案列分享

机器学习:KNN算法简单应用

深度学习:用PyTorch测试CNN


5大阶段,超全AI精品课

(下滑查看更多)


第 1 讲高等数学—元素和极限

1.1实数的定义(一)

1.2实数的定义(二)

1.3实数的定义(三)

1.4实数的元素个数(一)

1.5实数的元素个数(二)

1.6自然数个数少于实数个数(一)

1.7自然数个数少于实数个数(二)

1.8无穷大之比较(一)

1.9无穷大之比较(二)

1.10级数的收敛

1.11极限的定义

1.12极限的四则运算

1.13极限的复合

1.14连续性

第 2 讲高等数学—两个重要的极限定理

2.1元素与极限的知识点回顾

2.2第一个重要极限定理的证明(一)

2.3第一个重要极限定理的证明(二)

2.4夹逼定理

2.5第二个重要极限定理的证明

第 3 讲高等数学—导数

3.1导数的定义

3.2初等函数的导数

3.3反函数的导数(一)

3.4反函数的导数(二)

3.5复合函数的导数

3.6泰勒展开

3.7罗尔定理

3.8微分中值定理和柯西中值定理

3.9洛比塔法则

3.10泰勒展开的证明

第 4 讲高等数学—泰勒展开

4.1泰勒展开

4.2展开半径

4.3欧拉公式

4.4泰勒展开求极限(一)

4.5泰勒展开求极限(二)

第 5 讲高等数学—偏导数

5.1偏导数的对称性

5.2链式法则

5.3梯度算符、拉氏算符

第 6 讲高等数学—积分

6.1黎曼积分

6.2微积分基本定理

6.3分部积分(一)

6.4分部积分(二)

第 7 讲高等数学—正态分布

7.1标准正态分布

7.2中心极限定理

7.3误差函数

7.4二维正态分布

7.5多维正态分布

第 8 讲Python基础课程(上)

8.1Python介绍(一)

8.2Python介绍(二)

8.3变量—命名规范

8.4变量—代码规范

8.5变量类型—数值类型

8.6变量类型—bool类型

8.7变量类型—字符串类型(一)

8.8课间答疑

8.9变量类型—字符串类型(二)

8.10变量类型—字符串类型(三)

8.11变量类型—列表类型(一)

8.12变量类型—列表类型(二)

8.13变量类型—列表类型(三)

8.14变量类型—元组类型、字典类型(一)

8.15变量类型—字典类型(二)

第 9 讲Python基础课程(下)

9.1条件判断(一)

9.2条件判断(二)

9.3循环(一)

9.4循环(二)

9.5课间答疑

9.6循环(三)

9.7循环(四)

9.8函数(一)

9.9函数(二)

9.10函数(三)

9.11函数(四)

9.12类(一)

9.13类(二)

9.14类(三)

第 10 讲Python操作数据库、 Python爬虫

10.1课程介绍

10.2认识关系型数据库(一)

10.3认识关系型数据库(二)

10.4MySQL数据库与Excel的不同

10.5命令行操作数据库(一)

10.6命令行操作数据库(二)

10.7命令行操作数据库(三)

10.8命令行操作数据库(四)

10.9Python操作数据库(一)

10.10Python操作数据库(二)

10.11Python操作数据库(三)

10.12Python操作数据库(四)

10.13Python爬虫(一)

10.14Python爬虫(二)

10.15Python爬虫(三)

10.16Python爬虫(四)

10.17Python爬虫(五)

第 11 讲Python进阶(上)

11.1NumPy基本操作(一)

11.2NumPy基本操作(二)

11.3NumPy基本操作(三)

11.4NumPy基本操作(四)

11.5NumPy基本操作(五)

11.6NumPy基本操作(六)

11.7Pandas基本操作(一)

11.8Pandas基本操作(二)

11.9Pandas基本操作(三)

11.10Pandas基本操作(四)

11.11Pandas绘图(一)

11.12Pandas绘图(二)

11.13Pandas绘图(三)

11.14Pandas绘图(四)


篇幅有限,仅展示三分之一课程目录


课程有多好,看看别人怎么说


自动驾驶、自主编程……人工智能来的太快,连程序员都要下岗了


在这些老师的带领下我们帮你省去上万元的培训费,教你实现从小白到入门AI的突破。


如果你按照我们的课程步骤一步步扎实学习的话,相信你最终在人工智能方面一定大有收获。




高等数学+Python+数据挖掘+机器学习+深度学习=0元


梯度进阶 稳步提升

带你从小白到高手

零基础学习最具含金量的AI实操技能

原价2048

99免费

数量有限 先到先得

扫码立即进群

▼▼

部分图片来源于网络,如有侵权请联系小编删除

以上是关于Voyager:AI智能体自主写代码独霸我的世界,完胜AutoGPT的主要内容,如果未能解决你的问题,请参考以下文章

AI自己写代码让智能体进化!OpenAI的大模型有“人类思想”那味了

自动驾驶自主编程……人工智能来的太快,连程序员都要下岗了

AI芯片在世界上有啥作用

总理写的AI科普书 世界的下一个主宰-人工智能 Karim Massimov

百度世界大会2021: 与时代共振,AI让生活更好

AI都能自主研发药物了,全智能语音还有多久?