打造中国最大的
AI信息汇总平台


GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图

全程无需人工参与

把GPT-4放进一个虚拟世界会怎么样?比如《我的世界》

英伟达开发最新方法Voyager,在游戏中点亮科技树的速度是此前方法的15.3倍,同时获得的独特物品是此前的3.3倍,探索范围是2.3倍。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图1

更关键的是,Voyager目前完全借助游戏画面推理,一切操作与反馈通过文本和游戏的Javascript API进行。

被其他AI玩家视为噩梦的挖钻石也不在话下。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图2

结合人类反馈,盖个房子也不是问题。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图3

更不用说撸树、游泳、摸鱼……这些基础操作。

这项成果来自英伟达科学家Jim Fan(范麟熙)团队。

Voyager的出现甚至引发了一些网友的恐惧。

当GPT-4不再只是一款大语言模型,而拥有了与其他工具交互进行复杂动作的能力,学会推理和创造,真正的“人工智能”即将降临……

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图4

深度广度双双提升

团队将Voyager的表现与ReAct、Reflexion和AutoGPT进行了对比。

在地图探索距离上,Voyager达到了其他AI玩家的2.3倍。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图5

而在科技树方面,只有Voyager成功解锁了钻石工具。

对于其他工具,Voyager解锁的效率也最高。

下表中,括号前的数字表示提示迭代的次数,越少说明效率越高;括号中的数字则表示在3次试验中AI玩家的成功率。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图6

除了能点亮训练过的科技树,Voyager在零点测试中表现同样出色。

研究人员让这些AI玩家制造没有训练过的钻石镐、金剑、岩浆桶和指南针。

结果只有Voyager取得了100%的成功率,效率也比其他玩家更高。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图7

如果有人工的帮助,给予评价或指导,Voyager还能构造建筑。

之所以需要人工,是因为在研发Voyager时GPT-4还不具备视觉能力。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图8

如何实现

Voyager主要由三部分组成,即自动任务生成系统、技能库和迭代提示机制。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图9

顾名思义,自动任务生成器负责根据宏观目标生成具体任务及操作游戏的代码并进行优化。Voyager使用的是一个流行的Javascript Minecraft 操作库 (Mineflayer)。

GPT-4根据Voyager发送的提示生成代码调用这个操作库,并根据JS运行情况和游戏反馈对代码中的错误进行修正。

Voyager发送给GPT的提示中主要包含四部分内容:

一是鼓励GPT尝试多种方式,同时又加以限制的总方针。

二是目前的状态,包括生命和饥饿值、持有物、位置和周围环境等。

三是之前成功和失败的操作,反映目前的工作进展。

四是额外信息,让GPT-3.5根据前述状态提问并调用知识库自答,将过程传给GPT-4。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图10

说完了任务生成器,再看看Voyager的技能库。

通过让GPT-3.5(成本考虑)对生成的代码进行注释,并纳入技能库同时建立索引。

操作时则先用GPT-3.5生成操作说明,调用数据库中最匹配的五个。

然后,GPT-4将决定是调用数据库中的已有技能还是重新生成代码。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图11

这一过程给GPT的提示则由五部分组成:

一是代码生成的指导,如“你生成的代码将被反复使用”。

二是控制API及相关技能。

三是上一步中生成的代码,以及对应的运行状况和反馈。

四是当前的状态,具体内容和代码生成器部分相同。

五是利用思维链方式,让GPT生成代码前进行推理。

最后再来看看Voyager的迭代提示机制,这一机制用于Voyager的自我提升。

这一机制会收集环境反馈、运行错误等信息。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图12

同时结合对任务成功与否的自我检测,对自身进行优化。

下图就展示了自我检测的几个实例。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图13

消融测试结果显示,缺少这一环节会导致Voyager运行质量的显著下降。

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图14

论文地址:https://arxiv.org/abs/2305.16291

项目主页:https://voyager.minedojo.orgGitHub页面:https://github.com/MineDojo/Voyager

参考链接:

[1]https://twitter.com/DrJimFan/status/1662115266933972993

[2]https://m.weibo.cn/status/4905873598054632

本文来自微信公众号“量子位”(ID:QbitAI),作者:克雷西

欢迎免费使用GPT对话,感受ChatGPT的魅力!AI爱好者 – 最具实力的中文AI交流社区平台 (aiahz.com)

长按扫描二维码进群领资源

GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作插图15
赞(0) 打赏
未经允许不得转载:AI爱好者 » GPT-4玩《我的世界》15倍速攀科技,不看画面全靠代码操作

评论 抢沙发

欢迎来到AI爱好者

我们旨在打造一个最具实力的中文AI交流社区平台,致力于为所有AI爱好者,创业者和使用者提供优质服务. 我们的宗旨是为广大用户提供免费解决方案,您可以通过问答形式提出与AI相关的任何问题.

AI社区AI工具

安全服务战略合作伙伴:麒麟盾 SCDN

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

微信扫一扫打赏

登录

找回密码

注册