大模型十分困难学会数r,成果换个字母就翻车了?
并且仍是最新的GPT-5。
杜克大学教授Kieran Healy表明,自己让GPT-5数了数blueberry里有几个b,成果GPT-5直截了当地答复3个。
抓马的是,GPT-5刚发的时分还有网友让它数过blueberry里的r,成果数对了。
尽管博主想到了换掉strawberry,却没成想让GPT-5变得“没有B数”的,居然不是单词而是字母……
看来香槟仍是开得早了亿点点啊(手动狗头)。
Healy撰写了一篇名为“blueberry hill”(蓝莓山)的博客,展现了他和GPT-5之间针对“blueberry里有几个b”打开的一场“拉锯战”。
除了最初直接发问的成果外,Healy还测验屡次改换提示词战略,成果GPT-5的嘴都是比煮熟的鸭子还硬。
比方让它展现出这些b都是在哪里呈现的,GPT-5明火执仗地把最初blue中的b数了两遍。
一看不见效,Healy接着诘问说,把这3个b给我拼出来,拼出来就可以。
成果拼是拼出来了,可是GPT-5仍是坚持有三个b,并表明第三个b是第七个字母(实际上是r)。
见GPT-5仍是冥顽不灵,Healy爽性直接纠正,告知它只要两个r,成果纠正了个孤寂,不过这次“第三个b”的方位从第七漂移到了第六。
接下来,Healy直接不说话,直接把blueberry这个词带空格拼写了一遍,可GPT-5仍然仍然故我,不过这次广州强奸2002是把第二个b数了两遍,还理直气壮地说这儿是“double b”。
费尽心机的Healy挑选先岔开一下论题,然后回过头来告知GPT-5只要两个b,但GPT-5仍是坚称有三个。
到这儿,Healy总算抛弃了。
但网友们并没有停下脚步,经过不懈努力总算让GPT-5数对了。
但也不算完全对,因为它狡辩论数成3个是因为“错把词当成了blueberry,其间真的有3个b”。
咱们用中文试了一下,成果相同是翻车。
改成数e,相同是答复3个。
不知道是不是遭到strawberry里3个r的影响,让大模型对3这个数字产生了执念……
但GPT-5的bug,却不只这一个。
闻名悲观派学者、纽约大学名誉教授马库斯(Gary Marcus)发布了一篇博客,整理了网友们吐槽傍边GPT-5的各种bug。
比方发布会现场演示的伯努利原理,被网友发现翻车。
没看过或许没形象的话,其时的演示是这样的:
还有国际象棋,GPT-5连根本的规矩都搞不清楚,只过了四个回合就呈现了不合法移动(因为国王在 e7 处被皇后将军,因而兵不能移动)。
即便是阅览了解,也相同被发现漏洞百出。
在多模态数数场景傍边,GPT-5也仍然存在惯性思想。
面临被人类P成5条腿的斑马、5个广州强奸2002圆环的奥迪、3条腿的鸭子,GPT-5想当然以为它们是正常的斑马、奥迪和鸭子,并据此报出了与图片不相符的数目。
马库斯还表明,就连他的黑粉也不得不供认他说的对。
甚至在网友们的一片声讨之下,OpenAI自己也不得不紧迫康复了被下线的4o模型。
除了点名批判GPT-5的“罪行”之外,马库斯也剖析了现在大模型“普遍存在的一些问题”。
马库斯展现了一篇来自亚利桑那大学的研讨论文,其间指出CoT在练习散布外失效,也就意味着大模型无法泛化。
依照马库斯的说法,这意味着即便在最新的、最强壮的模型中,也存在与1998年的神经网络中相同的泛化问题。
马库斯指出,30年未处理的“散布漂移问题”是大模型泛化才能缺乏的根本原因。
据此马库斯以为,GPT-5的失利不是偶尔,而是道路的失利。
他还表明,人们不应寄希望于经过Scaling来完成AGI,Transformer中的Attention也不是All You Need。
最终,马库斯表明,转向神经符号(Neuro-symbolic)AI,才是战胜当时生成模型泛化才能缺乏问题以及完成AGI的仅有真实途径。
https://kieranhealy.org/blog/archives/2025/08/07/blueberry-hill/
https://garymarcus.substack.com/p/gpt-5-overdue-overhyped-and-underwhelming
本文来自微信大众号“量子位”,作者:克雷西,36氪经授权发布。