来源:时代周报(ID:timeweekly) 作者:申谨睿 编辑:史成超

北京时间5月14日凌晨1点,继在AI搜索和GPT-5上虚晃一枪后,OpenAI公司推出了可实时进行音频、视觉和文本推理的全新旗舰AI模型GPT-4o。

相比于去年11月的开发者大会,此次的发布会十分仓促。前后共持续26分钟,OpenAI首席技术官Mira Murati带着两位员工一起现场展示了新模型,一向高调的首席执行官Sam Altman并没有出现。值得玩味的是,明天Google将召开一年一度声势浩大的I/O开发者大会。

GPT-4o仍属于GPT-4系列,是GPT-4的升级款模型,其名字里的“o”是拉丁词缀“omni”的缩写,有包罗万象、全知全能的意思。Mira Murati在模型演示中称,相比GPT-4 Turbo,GPT-4o的速度快了两倍,成本降低了50%,API速率限制(用户可发出的请求调用额度)提高了五倍。

Mira Murati还表示,ChatGPT-4o将免费向所有用户开放,付费和企业用户可以抢先获得体验。她称:“这是我们第一次在便于使用方面真正迈出的一大步。”

01

升级版多模态大模型

据OpenAI介绍,GPT-4o是迈向更自然的人机交互的一步。此前,GPT-4已经可以分析图像和文本,完成从图像中提取文本、以文本描述图像内容这类任务。GPT-4o则是增加了语音功能,并针对原有功能进行了升级。

具体来看,GPT-4o的亮点表现在四个方面:更强的多模态能力、多语言能力的提升、更强的视觉和音频理解、更快的速度。

首先,GPT-4o能够接受文本、音频和图像的任意组合作为输入,并生成文本、音频和图像的任意组合输出,是兼具了“听觉”、“视觉”的多模态模型。对于这项能力,OpenAI做了17个案例展示,其中包括照片转漫画、3D物体合成、海报创作、角色设计等样本。在角色设计案例里,用户向模型输入角色的相关指令,就可以得到一个机器人角色形象。

其次,GPT-4o 中50种不同语言性能得到了提高,包括改进了分词器以更好地压缩其中的许多语言。相比Whisper-v3,GPT-4o 显著提高了所有语言的语音识别性能,特别是对于语料包匮乏的语言。

第三,与现有模型相比,GPT-4o在视觉和音频理解方面尤其出色。根据传统基准测试,GPT-4o 在文本、推理和编码智能方面实现了GPT-4 Turbo级别的性能。

在演示中,OpenAI 研究主管 Mark Chen拿出手机打开ChatGPT,用语音模式(Voice Mode)现场演示,向GPT-4o支持的ChatGPT征询建议。GPT听到Chen过度呼气时,似乎察觉到了他的紧张。反馈道:“Mark,你不是吸尘器”,并告诉Chen要放松呼吸。

另一项演示中,OpenAI的后训练团队负责人Barret Zoph在白板上写了一个方程式3x+1=4,ChatGPT给他提示,引导他完成每一步解答,识别他的书写结果,帮助他解出了X的值。

OpenAI 称,GPT-4o还可以检测人的情绪。演示中,Zoph将手机举到自己面前,要求ChatGPT告诉他自己长什么样子。最初,GPT参考了他之前分享的一张照片,将他识别为“木质表面”。经过第二次尝试,GPT注意到了Zoph脸上的微笑,对他说:“看起来你感觉非常快乐,喜笑颜开。”

Mira Murati表示,GPT-4o将提供与GPT-4同等水平的智能。同时,GPT-4o的运行速度大大提升,最大亮点在于其语音交互模式采用了全新技术,让聊天机器人对话的响应速度大幅提高。OpenAI官网博客显示,GPT-4o在谈话中对音频输入的平均响应时间为320毫秒,最短的响应时间为232毫秒,与人类的响应时间相似。

02

“炸裂”背后的局限

即便GPT-4o再次引发了铺天盖地的关注,但多位业内专家、分析师向时代周报记者表示,GPT-4o的多模态能力并没有实现真正意义上的突破。

“模型能力迭代的速度在变慢,就算发布了新的模态能力也掩饰不了基础LLM能力迭代速度放缓的事实。”科技分析师刘璟珊向时代周报记者称,这些多模态能力并没有本质突破,只是变得更好。原因很简单,大模型企业此前一定程度上忽视了推理优化,降低延迟实际上是产品工程化和英伟达GB200芯片提供了更强的算力。

“OpenAI并未展示对于视觉多模态来说真正称得上‘突破’的功能,我们依旧要考虑大模型解释准确性、空间推理、数目计量、违规内容等方面的局限性。”刘璟珊补充道。

她还称:“虽然GPT-4o可以在对话中增加语气,甚至唱歌的功能,但呈现的内容还是与GPT-4一样缺乏细节校准和创造力。至于OpenAI在发布会后发布的GPT-4o的应用案例探索,如会议记录、手写体和草稿生成等,也是一些比较普通的AI大模型功能。”

对于GPT-4o免费向用户开放,刘璟珊表示,此“免费”并非真正意义上的免费,这背后是OpenAI打造产品闭环的逻辑。她称:“此前GPT的订阅收入不多,OpenAI可能放弃了让用户直接付费。此外,随着英伟达提供的算力逐渐强大,大模型推理成本实现下降。”

“把大模型的收费模式从直接付费变为先体验后付费,OpenAI可通过GPT-4o所宣称的多模态能力扩大用户池,真正想付费的开发者自然会付费且大额付费。”刘璟珊称。

市场分析平台Sensor Tower公布的数据显示,过去一个月,ChatGPT在全球App Store中的下载量为700万,订阅收入1200万美元;全球Google Play市场的下载量为9000万,订阅收入300万美元。

目前,ChatGPT 在两个应用商店的订阅价格均为19.99美元/月。由订阅收入推断,ChatGPT Plus在过去一个月通过应用商店付费的订阅用户数为75万。虽然ChatGPT Plus还有大量的直接付费用户,但从手机端的营收看似乎很难匹配OpenAI几近千亿元的估值。

03

多模态AI概念股暴涨

GPT-4o的发布带动了相关概念股暴涨。

截至美东时间周一美股收盘,苹果(AAPL.NASDQ)股价上涨1.76%,报186.28美元/股,市值一夜大涨495亿美元(约合人民币3583亿元),总市值2.856万亿美元。

此前,OpenAI称将为苹果电脑用户带来一款为macOS设计的ChatGPT桌面应用,用户可以通过快捷键“拍摄”桌面并向ChatGP提问,OpenAI还表示,Windows版本将在今年晚些时候推出。

还有媒体称,苹果公司被曝正与OpenAI敲定一项协议,预计今年将后者的部分技术引入iPhone。借此,苹果将能提供由ChatGPT支持的“聊天机器人”,作为iOS 18中人工智能功能的一部分。

在国内,由于多模态AI题材的活跃,A股开盘后网络游戏方向领涨。其中,大晟文化股价涨停,位列涨幅榜首位。汤姆猫股价上涨超过8%,因赛集团、声迅股份、迅游科技、盛天网络、凯撒文化、电魂网络等公司股票亦呈现高开态势。

对于GPT概念股的股市表现,刘璟珊总结道:“虽然OpenAI短暂地偏离了AGI主航道,但是这次的多模态更新对GPT和应用生态有很大帮助。”