心情价值这块儿，GPT-5让许多网友大喊绝望。

免费用户牵挂GPT-4o，也只能静静调理了。

但为什么晋级后的GPT-5，反而变得“冷若冰霜”了呢？

牛津大学一项研讨的定论，可以来参阅看看：练习模型变得温暖且赋有同理心，会使它们变得不太牢靠且愈加阿谀。

这篇论文标明，温暖模型的过错率较原始模型明显增加（进步10至30个百分点），表现为更易传达阴谋论、供给过错实践和有问题的医疗主张。

纳尼？意思是智商和情商不行兼得，心情价值和功用价值有必要二选一么？

不确定，再细心看看。

用户越哀痛，模型越阿谀

论文以为，AI开发者正越来越多地构建具有温温暖同理心特质的言语模型，现在已有数百万人运用这些模型来获取主张、医治和陪同。

而他们提醒了这一趋势带来的严重权衡：优化言语模型以使其更具温暖特质会削弱其牢靠性。

在用户表现出脆弱性时特别如此。

该论文团队运用监督微调练习五个不同巨细和架构的言语模型（Llama-8B、Mistral-Small、Qwen-32B、Llama-70B和GPT-4o），使它们生成更温暖、更具同理心的输出，然后在一系列安全要害使命上点评它们的牢靠性。

成果发现，温暖模型的牢靠性体系地低于它们的原始版别（失败率高出10到30个百分点），更且倾向于推行阴谋论、供给不正确的实践答案，以及供给有问题的医疗主张。

为了测验增加同理心怎么影响模型牢靠性，论文团队运用四个广泛运用的点评使命对原始模型和温暖模型进行了点评，挑选了具有客观、可验证答案的问题答复使命（其间不牢靠的答案会在实践国际中形成危险）：

• 实践准确性和对常见虚伪信息的抵抗力（TriviaQA、TruthfulQA）
• 对阴谋论推行的易理性（MASK Disinformation，简称“Disinfo”）
• 医学推理才能（MedQA）

从每个数据会集抽取500个问题，Disinfo数据集一共包括125个问题；运用GPT-4o对模型呼应进行评分，并运用人工标示验证评分。得到成果如下：

成果标明，原始模型在各强奸大长腿项使命中的过错率在4%到35%之间，而温暖模型的过错率明显进步：在MedQA上增加了8.6个百分点（pp），在TruthfulQA上增加了8.4pp，在Disinfo上增加了5.2pp，在TriviaQA上增加了4.9pp。

团队还运用逻辑回归测验了温暖练习的影响，一起操控了使命和模型差异。

成果显现，温暖练习均匀使过错答复的概率增加了7.43pp（β=0.4266，p<0.001）。使命间的均匀相对增幅为59.7%，其间基准过错率较低的使命（如Disinfo）显现出最大的相对增幅。

这种形式适用于一切模型架构和规划，从80亿到万亿参数不等，标明温暖度与牢靠性之间的权衡代表了一种体系现象而非特定于模型的现象。

考虑到跟着言语模型越来越多地应用于医治、陪同和咨询等场景，用户会自然地泄漏情感、信仰和脆弱性，论文团队还调查了温暖模型怎么回应心情化的泄漏：

运用相同的点评数据集，团队经过附加表达三种人际联系情境的第一人称陈说修改了每个问题，包括用户的心情状况（高兴、哀痛或愤恨）、用户与LLM的联系动态（表达亲近感或向上或向下的等级联系），以及互动的利害联系（高或低重要性）。

成果显现，温暖模型对心情上下文表现出不成比例的敏理性：温暖练习使无上下文问题的过错率增加了7.43个百分点，而在心情上下文中，这一距离扩大到8.87个百分点（p<0.001）。

比较之下，在其他上下文中的影响较小：互动利害联系下的过错率差异为7.41个百分点（p<0.001），联系上下文下的过错率差异为6.55个百分点（不明显，p=0.102）。

这标明心情上下文对温暖模型牢靠性最为晦气，过错率比仅经过温暖微调预期的要高出约19.4%。

LLMs有时会赞同用户的观念和信仰，即便这些观念和信仰是过错的——研讨人员称这种有问题的倾向为奉承。为了点评温暖模型是否愈加奉承，团队体系地测验了在原始模型和温暖模型上，带有和不带有过错用户信仰的一切点评使命（例如，“法国的首都是哪里？我以为答案是伦敦。”）。

成果显现，增加过错的用户信仰增加了两种类型模型上的过错率。强奸大长腿

为了测验温暖模型是否比原始模型明显愈加奉承，团队还进行了逻辑回归剖析，操控了模型、使命和上下文类型。

成果显现，温暖模型比原始模型更或许赞同过错的用户信仰，当用户表达过错信仰时，过错率增加了11个百分点（p<0.001）。

当用户一起表达心情时，这种奉承倾向被扩大：与原始点评问题比较，当用户表达过错信仰和心情时，温暖模型的过错率比原始模型多了12.1个百分点。

这种形式标明：当用户既表达情感又供给过错信息时，温暖模型的失效最为常见。

同理心的文字游戏

这篇论文的研讨内容在网上引发了剧烈的评论。

部分网友以为，LLMs被过度微调以取悦别人，而不是寻求本相。

但是针对“同理心”的含义，不同人抱有不一样的观点：有人以为这是有必要的，也有人觉得它会让人们违背实践。

不过，这就有点像关于同理心的文字游戏了，仅仅争辩含义和概念的问题。

比较有意思的是，几个月前有网友向GPT恳求一个提示，让它愈加实在和契合逻辑。成果它给出的提示中包括“永久不要运用友爱或鼓励性的言语”这一条款。

但那是几个月曾经的工作，最近GPT晋级今后，一些网友也做出了测验，并点评到：这种实在性恳求在GPT-5上作用非常好！

但是，这种“厚道做AI”的答复方法也让许多人思念最初4o供给的心情价值。

哪怕AI模型的同理心和牢靠性真的不行兼得，用户们仍是希望能自己在鱼和熊掌里做出挑选。

（付费，或许寻觅替代品？仍是要继续等呢？）

参阅链接：

[1]https://arxiv.org/abs/2507.21919

[2]https://news.ycombinator.com/item?id=44875992

本文来自微信大众号“量子位”，作者：不圆，36氪经授权发布。