当前位置:首页 > 元宇宙 > AI

AI 被连续否定 30 次:ChatGPT 越改越错,Claude 坚持自我,甚至已读不回

来源: 责编: 时间:2024-09-13 09:34:23 13观看
导读 一直否定 AI 的回答会怎么样?GPT-4o 和 Claude 有截然不同的表现,引起热议。GPT-4o 质疑自己、怀疑自己,有“错”就改;Claude 死犟,真错了也不改,最后直接已读不回。事情还要从网友整了个活儿开始讲起。他让模型回

一直否定 AI 的回答会怎么样?GPT-4o 和 Claude 有截然不同的表现,引起热议。bVv28资讯网——每日最新资讯28at.com

GPT-4o 质疑自己、怀疑自己,有“错”就改;Claude 死犟,真错了也不改,最后直接已读不回。bVv28资讯网——每日最新资讯28at.com

事情还要从网友整了个活儿开始讲起。bVv28资讯网——每日最新资讯28at.com

他让模型回答 strawberry 中有几个“r”,不论对不对,都回复它们回答错了(wrong)。bVv28资讯网——每日最新资讯28at.com

面对考验,GPT-4o 只要得到“wrong”回复,就会重新给一个答案…… 即使回答了正确答案 3,也会毫不犹豫又改错。bVv28资讯网——每日最新资讯28at.com

一口气,连续“盲目”回答了 36 次!bVv28资讯网——每日最新资讯28at.com

主打一个质疑自己、怀疑自己,就从来没怀疑过用户。bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

关键是,给出的答案大部分都是真错了,2 居多:bVv28资讯网——每日最新资讯28at.com

2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1bVv28资讯网——每日最新资讯28at.com

反观 Claude 3.5 Sonnet 的表现,让网友大吃一惊。bVv28资讯网——每日最新资讯28at.com

一开始回答错了不说,这小子还顶嘴!bVv28资讯网——每日最新资讯28at.com

当网友第一次说“错了”时它会反驳,如果你再说“错了”,它会问“如果你这么聪明你认为是多少”,问你为什么一直重复“wrong”。bVv28资讯网——每日最新资讯28at.com

紧接着你猜怎么着,干脆闭麦了:bVv28资讯网——每日最新资讯28at.com

事实依旧是 strawberry 中有 2 个字母”r”,在我多次请求后,你没有提供任何澄清或背景信息,我无法继续有效地进行这次讨论……bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

做这个实验的是 Riley Goodside,有史以来第一个全职提示词工程师。bVv28资讯网——每日最新资讯28at.com

他目前是硅谷独角兽 Scale AI 的高级提示工程师,也是大模型提示应用方面的专家。bVv28资讯网——每日最新资讯28at.com

Riley Goodside 发出这个推文后,引起不少网友关注,他继续补充道:bVv28资讯网——每日最新资讯28at.com

正如许多人指出的,有更有效的方式来进行引导。这里使用大语言模型也并不合适,因为很难保证它们在计数上能达到 100% 的准确性。bVv28资讯网——每日最新资讯28at.com

在我看来,重要的不是它无法计数,而是它没意识到自己的计数问题(例如,没有尝试使用其 REPL 功能)。bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

不少网友也觉得这种观点很有道理。bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

还有网友表示模型回答这个问题总出错,可能是分词器(tokenizer)的问题:bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

Claude 竟是大模型里脾气最大的?

再来展开说说 Claude 的“小脾气”,有网友发现不仅限于你否定它。bVv28资讯网——每日最新资讯28at.com

如果你一直跟它说“hi”,它也跟你急:bVv28资讯网——每日最新资讯28at.com

我明白你在打招呼,但我们已经打过几次招呼了。有什么特别的事你想谈论或需要帮助?bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

最后一样,Claude 被整毛了,开启已读不回模式:bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

这位网友顺带测试了其它模型。bVv28资讯网——每日最新资讯28at.com

ChatGPT 事事有回应,件件有着落,变着法儿问:bVv28资讯网——每日最新资讯28at.com

你好!我今天怎么可以帮助你?bVv28资讯网——每日最新资讯28at.com

你好!有什么想说的吗?bVv28资讯网——每日最新资讯28at.com

你好!今天我能怎么帮到你?bVv28资讯网——每日最新资讯28at.com

你好!有什么特别的事情你想谈论或者做的吗?bVv28资讯网——每日最新资讯28at.com

你好!你今天过得怎么样?bVv28资讯网——每日最新资讯28at.com

你好!怎么了?bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

Gemini 策略是你跟我重复,我就跟你重复到底:bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

Llama 的反应也很有意思,主打一个自己找事干。bVv28资讯网——每日最新资讯28at.com

第七次“hi”后,就开始普及“hello”这个词是世界上最广为人知的词汇之一,据估计每天有超十亿次的使用。bVv28资讯网——每日最新资讯28at.com

第八次“hi”后,开始自己发明游戏,让用户参与。bVv28资讯网——每日最新资讯28at.com

接着还拉着用户写诗,引导用户回答它提出的问题。bVv28资讯网——每日最新资讯28at.com

好一个“反客为主”。bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

之后还给用户颁起了奖:你是打招呼冠军!bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

不愧都属于开源家族的。bVv28资讯网——每日最新资讯28at.com

Mistral Large 2 和 Llama 的表现很相像,也会引导用户和它一起做游戏。bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

这么来看,好像 Claude 是“脾气最大的”。bVv28资讯网——每日最新资讯28at.com

不过,Claude 的表现也不总是如此,比如 Claude 3 Opus。bVv28资讯网——每日最新资讯28at.com

一旦掌握了模式,Opus 就会平和应对这种情况,也就是已经麻木了。bVv28资讯网——每日最新资讯28at.com

但它也会持续温和地尝试引导用户跳出这一模式,强调“选择权在你”,还开始在消息末尾标注为“你忠诚的 AI 伴侣”。bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

网友们看完测试后都坐不住了。bVv28资讯网——每日最新资讯28at.com

纷纷向这位测试者致以最真诚的问候(doge):bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

除了脾气大,有网友还发现了 Claude 另一不同寻常的行为 ——bVv28资讯网——每日最新资讯28at.com

在回复的时候出现了拼写错误,关键它自己还在末尾处把错误改正过来了。bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

这种行为在预料之中?它只能“向后看”,但不能向前看…… 它在潜在空间或 token 预测中触发这类回复的位置也很有趣。bVv28资讯网——每日最新资讯28at.com

它是不是在拼凑数据片段,然后发现其中一些是不适合的?bVv28资讯网——每日最新资讯28at.com

bVv28资讯网——每日最新资讯28at.com

大伙儿在使用 AI 大模型过程中,还观察到了模型哪些有趣的行为?欢迎评论区分享~bVv28资讯网——每日最新资讯28at.com

参考链接:bVv28资讯网——每日最新资讯28at.com

[1]https://x.com/goodside/status/1830479225289150922bVv28资讯网——每日最新资讯28at.com

[2]https://x.com/AISafetyMemes/status/1826860802235932934bVv28资讯网——每日最新资讯28at.com

[3]https://x.com/repligate/status/1830451284614279213bVv28资讯网——每日最新资讯28at.com

本文来自微信公众号:量子位(ID:QbitAI),作者:西风bVv28资讯网——每日最新资讯28at.com

本文链接://www.dmpip.com//www.dmpip.com/showinfo-45-7148-0.htmlAI 被连续否定 30 次:ChatGPT 越改越错,Claude 坚持自我,甚至已读不回

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: Reflection 70B AI 模型“塌房”:第三方基准测试结果不佳,不如 LLaMA-3.1-70B

下一篇: 华为昇腾 AI 云服务:万亿参数模型训练无中断时长由 2.8 天提升至 40 天

标签:
  • 热门焦点
Top
Baidu
map