打造中国最大的
AI信息汇总平台


OpenAI官宣推出多模态ChatGPT 能看、能听、还会说

OpenAI官宣推出多模态ChatGPT 能看、能听、还会说插图

北京时间周一晚间,人工智能领域的知名创业公司OpenAI发布题为《ChatGPT现在能看、能听、能说》的公告,宣布将在未来两周时间里向付费用户推送这项功能。

在今年3月GPT-4的发布会上,最令人感到震惊的一幕应该是,OpenAI总裁Greg Brockman拿着一张草稿纸画了个草图,随手拍了张照就让GPT-4在10秒钟时间里生成了这个网站的代码。

OpenAI官宣推出多模态ChatGPT 能看、能听、还会说插图1

(来源:OpenAI)

ChatGPT此前曾推出过能上传图片的“代码解释器“功能,具备了一些初步处理图像和文本照片的能力。但毫无疑问,今天这个“随手拍、随心问”才更贴近大多数用户的AI助手使用场景。

拍张冰箱照片 告诉你今晚吃啥

按照标题的顺序,今天更新的功能主要有两点:基于图片的对话,以及实时语音对话

先说关注度非常高的图片聊天功能。按照OpenAI的说法,用户现在可以拍一张冰箱的照片,然后让ChatGPT来推荐菜谱;在旅行时拍摄一张地标的照片,让ChatGPT来讲述这处景点的有趣之处。当然,也能拍一张数学题的照片,让ChatGPT来解答。

在官方给出的例子中,给到ChatGPT一张自行车的照片,问它如何把座椅调低。然后ChatGPT表示看你车的型号,有的车有快拆杆,有的是用螺栓固定,然后给出了详细的步骤。

OpenAI官宣推出多模态ChatGPT 能看、能听、还会说插图2

随后官方装作不懂,拍了一张螺栓的照片,并用官方画图工具圈出来以示强调,然后问ChatGPT这是不是快拆杆。ChatGPT表示你这个是螺栓,得去找一个内六角扳手

OpenAI官宣推出多模态ChatGPT 能看、能听、还会说插图3

随后官方又拍了一张工具箱的照片,问ChatGPT到底是哪一个扳手。ChatGPT也顺利地认出了扳手,并准确提示用户到底要拿哪一个尺寸。

OpenAI官宣推出多模态ChatGPT 能看、能听、还会说插图4

ChatGPT会说话啦!

除此之外,OpenAI也将语音识别、转录和音频生成功能打包,推出了AI语音聊天的功能,这项功能只适用于iOS和安卓客户端。官方表示,用户可以用这项功能为家里的小孩讲睡前故事。或者家里吃着饭,突然为某个问题吵起架来,这个时候就可以把ChatGPT拍在桌面上解决争论。

OpenAI官宣推出多模态ChatGPT 能看、能听、还会说插图5

OpenAI介绍称,这项功能使用了Whisper开源语音识别系统,将用户说的话转录成文本。同时还用上了一项新的文本转语音模型,并与专业配音演员合作,提供5种可供用户自行选择的声音。

更先进的AI也有新的风险和局限性

OpenAI表示,新的语音技术能够仅通过几秒钟的真实语音创造出逼真的合成声音。这种功能打开了创造力的大门,也带来了新的风险——例如不法分子可能伪造公众人物进行欺诈。所以OpenAI的决策是通过“语音聊天”这样的特定用例来推出这项功能。

同时OpenAI也在与更多的机构展开合作。例如流媒体公司Spotify就在试用这项功能来进行语音翻译,通过使用播客主持人的声音将播客音频翻译成其他语言,帮助播客主持人扩大他们的全球影响力。

图像也会带来新的挑战,例如幻觉问题,以及使用者在高风险领域却依赖模型对图像的解释。因此在上线前,也对极端主义和科学能力等领域进行了风险测试。

另外对看到这篇文章的中文读者来说,图片对话的体验大概率值得期待,但语音对话可能要打一些折扣。OpenAI表示,该模型擅长转录英文文本,但在一些其他语言,特别是那些使用非罗马字母的语言中表现不佳,建议非英语用户不要使用ChatGPT来进行此类用途。

欢迎免费使用GPT对话,感受ChatGPT的魅力!AI爱好者 – 最具实力的中文AI交流社区平台 (aiahz.com)

ChatGPT国内版本,无需梯子,也能体验Chatgpt-AI爱好者 (aiahz.com)

长按扫描二维码进群领资源

OpenAI|ChatGPT新功能,搜索Bing获取答案插图3
赞(0) 打赏
未经允许不得转载:AI爱好者 » OpenAI官宣推出多模态ChatGPT 能看、能听、还会说

评论 抢沙发

欢迎来到AI爱好者

我们旨在打造一个最具实力的中文AI交流社区平台,致力于为所有AI爱好者,创业者和使用者提供优质服务. 我们的宗旨是为广大用户提供免费解决方案,您可以通过问答形式提出与AI相关的任何问题.

AI社区AI工具

安全服务战略合作伙伴:麒麟盾 SCDN

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

微信扫一扫打赏

登录

找回密码

注册