打造中国最大的
AI信息汇总平台


HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了

【新智元导读】**浙大 & 微软推出的 HuggingGPT 爆火之后,刚刚开放了 demo,急不可待的网友自己上手体验了一番。

最强组合 HuggingFace+ChatGPT=「贾维斯」现在开放 demo 了。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图

前段时间,浙大 & 微软发布了一个大模型协作系统 HuggingGPT 直接爆火。

研究者提出了用 ChatGPT 作为控制器,连接 HuggingFace 社区中的各种 AI 模型,完成多模态复杂任务。

整个过程,只需要做的是:用自然语言将你的需求输出。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图1

英伟达科学家称,这是我本周读到的最有意思的论文。它的思想非常接近我之前说的「Everything App」,即万物皆 App,被 AI 直接读取信息。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图2

上手体验

现在,HuggingGPT 增加了 Gradio 演示。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图3

项目地址:github.com/microsoft/J…

有网友便上手体验了一番,先来「识别图上有几个人」?

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图4

HuggingGPT 根据推理结果,得出图片中有 2 个人正在街道上行走。

具体过程如下:

首先使用图像到文本模型 nlpconnect/vit-gpt2-image-captioning 进行图像描述,生成的文本「2 个女人在有火车的街道上行走」。

接着,使用了目标检测模型 facebook/detrresnet 50 来检测图片中的人数。模型检测出 7 个物体,2 个人。

再使用视觉问题回答模型 dandelin/vilt-b32-finetuned-vqa 得出结果。最后,系统提供了详细的响应和用于解答问题的模型信息。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图5

另外,让它理解「我爱你」这句话的情感,并将其翻译成泰米尔语(Tamiḻ)。

HuggingGPT 调用了以下模型:

首先,使用了模型「dslim/bert-base-NER」对文本「l love you」进行情感分类,是「浪漫」。

然后,使用「ChatGPT」将文本翻译成泰米尔语,即「Nan unnai kadalikiren」。

在推理结果中没有生成的图片、音频或视频文件。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图6

转录 MP3 文件时,HuggingGPT 却失败了。网友表示,「不确定这是否是我的输入文件的问题。」

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图7

再来看看图像生成的能力。

输入「一只猫跳舞」图像上添加文字「I LOVE YOU」作为叠加层。

HuggingGPT 首先使用了「runwayml/stable-diffusion-1-5」模型根据给定的文本生成「跳舞的猫」的图片。

然后,使用同一个模型根据给定的文本生成了「I LOVE YOU」的图片。

最后,将 2 个图片合并在一起,输出如下图:

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图8

贾维斯照进现实

项目公开没几天,贾维斯已经在 GitHub 上收获了 12.5k 星,以及 811 个 fork。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图9

研究者指出解决大型语言模型(LLMs)当前的问题,可能是迈向 AGI 的第一步,也是关键的一步。

因为当前大型语言模型的技术仍然存在着一些缺陷,因此在构建 AGI 系统的道路上面临着一些紧迫的挑战。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图10

为了处理复杂的人工智能任务,LLMs 应该能够与外部模型协调,以利用它们的能力。

因此,关键点在于如何选择合适的中间件来桥接 LLMs 和 AI 模型。

在这篇研究论文中,研究者提出在 HuggingGPT 中语言是通用的接口。其工作流程主要分为四步:

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图11

论文地址:arxiv.org/pdf/2303.17…

首先是任务规划,ChatGPT 解析用户请求,将其分解为多个任务,并根据其知识规划任务顺序和依赖关系。

接着,进行模型选择。LLM 根据 HuggingFace 中的模型描述将解析后的任务分配给专家模型。

然后执行任务。专家模型在推理端点上执行分配的任务,并将执行信息和推理结果记录到 LLM 中。

最后是响应生成。LLM 总结执行过程日志和推理结果,并将摘要返回给用户。

假如给出这样一个请求:

请生成一个女孩正在看书的图片,她的姿势与 example.jpg 中的男孩相同。然后请用你的声音描述新图片。

可以看到 HuggingGPT 是如何将它拆解为 6 个子任务,并分别选定模型执行得到最终结果的。

通过将 AI 模型描述纳入提示中,ChatGPT 可以被视为管理人工智能模型的大脑。因此,这一方法可以让 ChatGPT 能够调用外部模型,来解决实际任务。

简单来讲,HuggingGPT 是一个协作系统,并非是大模型。

它的作用就是连接 ChatGPT 和 HuggingFace,进而处理不同模态的输入,并解决众多复杂的人工智能任务。

所以,HuggingFace 社区中的每个 AI 模型,在 HuggingGPT 库中都有相应的模型描述,并将其融合到提示中以建立与 ChatGPT 的连接。

随后,HuggingGPT 将 ChatGPT 作为大脑来确定问题的答案。

到目前为止,HuggingGPT 已经围绕 ChatGPT 在 HuggingFace 上集成了数百个模型,涵盖了文本分类、目标检测、语义分割、图像生成、问答、文本到语音、文本到视频等 24 个任务。

实验结果证明,HuggingGPT 可以在各种形式的复杂任务上表现出良好的性能。

网友热评

有网友称,HuggingGPT 类似于微软此前提出的 Visual ChatGPT,似乎他们把最初的想法扩展到了一组庞大的预训练模型上。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图12

Visual ChatGPT 是直接基于 ChatGPT 构建,并向其注入了许多可视化模型(VFMs)。文中提出了 Prompt Manage。

在 PM 的帮助下,ChatGPT 可以利用这些 VFMs,并以迭代的方式接收其反馈,直到满足用户的要求或达到结束条件。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图13

还有网友认为,这个想法确实与 ChatGPT 插件非常相似。以 LLM 为中心进行语义理解和任务规划,可以无限提升 LLM 的能力边界。通过将 LLM 与其他功能或领域专家相结合,我们可以创建更强大、更灵活的 AI 系统,能够更好地适应各种任务和需求。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图14

这就是我一直以来对 AGI 的看法,人工智能模型能够理解复杂任务,然后将较小的任务分派给其他更专业的 AI 模型。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图15

就像大脑一样,它也有不同的部分来完成特定的任务,听起来很符合逻辑。

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图16

参考资料:

twitter.com/1littlecode…

www.youtube.com/watch?v=3_5…

huggingface.co/spaces/micr…

HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了插图17

作者:新智元
链接:https://juejin.cn/post/7220351836330098743
来源:稀土掘金

赞(2) 打赏
未经允许不得转载:AI爱好者 » HuggingGPT 在线演示惊艳亮相,网友亲测图像生成绝了

评论 抢沙发

欢迎来到AI爱好者

我们旨在打造一个最具实力的中文AI交流社区平台,致力于为所有AI爱好者,创业者和使用者提供优质服务. 我们的宗旨是为广大用户提供免费解决方案,您可以通过问答形式提出与AI相关的任何问题.

AI社区AI工具

安全服务战略合作伙伴:麒麟盾 SCDN

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

微信扫一扫打赏

登录

找回密码

注册