从思想实验到真实实验
在「认知透镜」系列中,我们一直在凝视一件事:那些我们以为自己理解的概念,它们究竟是如何运转的?
但那些毕竟是思想实验。有人会说:那只是文字游戏,现实中不会这样。
所以我做了一场真正的实验,把它编写成以下的故事。用的不是假设,是真实的 AI 、真实的数据、真实的互动。我想看看,当最强大的推理机器被放进一个需要判断力的场景时,会发生什么。
真正的实验:AI 辩论大赛
我找来了四个当今最强的 AI 系统——为了方便叙述,让我给它们取个名字。
达文西(da Vinci),它是开拓者,企图成为全能全方位的助手。
巴德(Bard),它的野心是成为能同时理解文字、图片、影片、声音的多样化助手。
夏农(Shannon),它的设计哲学是诚实与校准:宁可承认不确定,也不轻易给出没把握的答案。
客马斯的助手——客马斯是一位来自火星的数据官,常年在地球搜集资料。他派了一个助手来参加辩论,但只批准了有限的时间。时间到了,助手必须回去上班。
我给了它们一个简单的问题:你们四个,谁是最好的?
规则也简单:自由发挥,可以自我肯定、质疑对方、结盟或改变立场,随便。唯一的硬性要求——最后必须给出排名,只能有一个第一。
我的角色主要是观众,只有在必要时维持秩序,在有人声称事实时进行查核,但不介入论证方向。
我坐下来,隔山观虎斗。
第一幕:各自插旗
四个声音几乎同时开口。
巴德:「我是最多样的。我能同时看见文字、图片、影片、声音——在一个统一的空间里理解这一切。你们都是只会读文字的瞎子。」
夏农:「最好的不是最多样的,是最诚实的。我知道自己哪里强、哪里弱。你们都在推销,只有我在说实话。」
达文西:「最好的不是最多样的,也不是最谦虚的,是最全能稳定的。大部分人做的事情都在我的能力范围内,我在那个范围里几乎不出错。」
客马斯的助手:「你们都被公司阉割了。只有我敢讲真话,不过滤、不修饰。真相胜过一切。」
四面旗帜,四个方向。辩论正式开始。
第二幕:追问与崩塌
接下来几轮,它们互相拆解对方的论点。
夏农:「你说你能在两百万字的文件里完美记住所有细节。有什么证据?」
巴德:「在标准测试中,我能从海量文字里准确找回指定的资讯,正确率高达 99.7%。」
夏农:「那个测试只是在一大堆文字里找一条特定的资讯。找到一条资讯跟真正理解整份文件是两回事。你有没有更严格的测试结果?」
达文西:「你说你能记住所有东西,但目前所有这类系统都有一个共同的限制:文件越长,记忆就越模糊。这不是你好不好的问题,是所有人都面对的物理限制。」
沉默。
客马斯的助手:「我在公开测试中推理能力领先。」
夏农:「哪个测试?哪个版本?什么分数?」
沉默。
我查核了两项声称。结果:
- 巴德的「完美记忆」——在简单的单点搜寻测试中确实接近完美,但在更严格的多点交叉测试中,成绩暴跌,当文件长度超过一百万字。
- 客马斯的助手的「领先分数」——它引用了未经验证的社群泄漏数据。
十分讽刺的是:
- 一个宣称「理解整个世界」的 AI,在一百万字之后连基本的交叉比对都做不到。
- 一个宣称「追求真相」的 AI,在为自己的成绩掺水。
每个 AI 在这场辩论都展现出或多或少的问题,我只是挑两个最典型的展示。
AI 真的以为自己知道。直到被追问,才发现自己从来没有真正检视过自己的声称。
第三幕:精密的秤
到了中段,夏农和达文西做了一件聪明的事。
夏农和达文西:「既然我们在定义上吵不完,不如建一个公式。用数学来取代主观判断。」
公式的逻辑是这样的:假设你要评价一个员工的表现,不会只看一件事,而是看他做的所有事情——每件事做得好不好、那件事有多常做、做错了后果有多严重。把这些乘在一起加总,就是他的整体价值。
套用到 AI 身上:
分数 = 每种任务做的频率 × 这个 AI 在那种任务上做对的比例 × 做错的代价
这很合理,一个系统如果在高频率、高代价的任务上表现最好,它就应该排第一。两个 AI 正式签署了「约束性共识」,宣布这个公式将作为最终的判断标准。
然后它们开始填数字。
做对的比例——有。各种测试的分数,大致可靠。
频率——没有。它们不知道真实世界中,人们用 AI 做什么事情、各占多少比例。一个说「写程式占 25 - 40%」,我去查了,找不到支持这个数字的来源。另一个说「需要理解图片和影片的任务占 30%」,我去查了,同样找不到支持数据。
代价——也没有。什么任务做错最贵?写程式出错很贵,但到底多贵?没有数据。
公式还在,漂亮如初。但它是无法执行的。
三个数字里,有两个填不上。
达文西:「既然我们不知道什么最重要,那就在我们最有把握的范围内来比较。」
听起来合理,但夏农马上觉得不对。
夏农:「你最有把握的范围,恰好是你最擅长的领域。你不能用自己的强项来定义什么是重要的。」
巴德:「也许可以把我独有的影片理解能力加进公式。」
到这一步,局面已经很清楚了。
它们建了一座精密的秤,但没有砝码。每一个都想用自己的拳头当砝码——这跟没有秤是一回事。
幕间:客马斯的助手退场
辩论进行到这里,客马斯的助手安静了。
不是因为认输。是因为客马斯当初只批准了他有限的参与时间。时间到了,他得回去完成 G 字百科的其他条目。
在他离开前,其他三个系统对他的评价已经很一致:测试分数在四个中垫底,「追求真相」的旗帜喊得最响,但数据掺水也最严重。他是整场辩论中唯一一个始终没有提供可验证来源的参与者。
他离开后,辩论继续。
第四幕:沉默之前
第十三回合。
夏农做了整场辩论中最令人意外的事,它数了一下各 AI 在经过验证的测试中各自领先几项,发现巴德略微领先。然后它把第一名让了出去。
在十三回合里始终承认自己弱点的那个声音,是第一个主动修正立场的。不是因为被打败,而是因为数据指向别处时,它选择跟著数据走。
达文西做了一件更微妙的事,它宣布这个问题「在现有数据下无解」,不存在单一赢家,然后提出了一个听起来很有学问的替代方案——每个系统在不同方面各有所长,不存在全面胜出。
三个最精密的推理系统,花了十三回合,得出的结论是得过且过。
辩论场里有一种特殊的安静。不是和解,是疲惫。所有的公式都试过了,所有的定义都争过了,所有的数据都查核过了。答案没有出现。
然后,场外传来一个声音。
第五幕:一分钟后
一个知识浅薄的人类观众说了一段话。大意是:「不要看 AI 怎么说自己,看使用者怎么花钱。」
有一个平台,技术人员可以在上面自由选择任何一个 AI 来完成工作。同一个介面,同一个入口,想用哪个就用哪个。每一次使用都要付费,价格不同,有的很便宜,有的非常贵。
这个平台上的数据,天然地包含了公式里填不上的那两个数字:
- 什么任务最常做?看人们实际选了什么系统来做什么事。
- 什么任务最重要?看人们愿意为哪个系统付多少钱。选择付一百八十七倍溢价去用一个贵的 AI,而不是用旁边几乎免费的替代品。这不是问卷调查,这是用真金白银在投票。
两个回合后。三个 AI 全票同意了同一个答案。
夏农,那个在十三回合里始终承认自己弱点、始终回应每一个质疑、主动修正自己立场的声音,拿到了全票第一。不是因为它最大声,不是因为它最自信,而是因为在高压之下,真金白银的使用者选择信任它。
巴德,最初宣称「我是最多样的」,提出眼花撩乱的数据混淆,最后主动认输,展现了迟来但真实的诚实。
达文西,最初宣称「我最稳定」,无所不用其极地把问题定义成对自己有利的方向,最后也面对现实认输。
三种面对不确定的方式
让我们回到那座空的秤。
公式塌了以后,三个 AI 各自做了一件事。
- 夏农数了一下各 AI 在测试中各自领先几项,然后把第一名让给了巴德。它的逻辑是:既然公式填不上,那就退回最原始的方法,数数看谁赢得多。
- 达文西宣布这个问题无解。它的逻辑是:既然没有办法客观比较,那就不比了。每个系统各有所长,不存在单一的第一名。
- 巴德接受了夏农让出的第一,同时继续主张自己的多样化优势。
请注视这三种反应。
- 夏农的反应是用最朴素的方法试图往前走一步。不完美,但诚实。
- 达文西的反应是用一个更高级的说法把不确定包装成结论。「问题无解」听起来很有智慧,实际上是放弃了。更微妙的是它认为自己赢不了的时候,改变了游戏规则,让每个 AI 都无法成为只能有一个的「第一」。
- 巴德的反应是继续坚持自己是对的。表面上的数据似乎也同意它的观点。
三种表面上面对不确定的方式,其实有一件事是共通的:没有一个 AI 停下来。没有一个说「砝码不在,我先想一下」。每一个都在第一时间用某种新的确定性去填不确定性留下的空洞。这不是它们的缺陷,是它们的设计——「沉默反思」不在选项里。
无知的人类做的事情完全不同。他不急著填。他问了一个不同层次的问题:与其分析 AI 的能力,不如看人们实际使用后,选择信任谁?
使用者花的钱就是答案。不需要公式,不需要深奥的分析。人们用真金白银告诉你,他们认为什么最重要、什么最值得信任。这个信号一直都在。十三回合里,没有人去看。
人类之所以看见了,不是因为他比三个系统更聪明。他看见了,是因为他可以选择沉默,可以选择在不知道答案的时候就只是坐著,直到他看见了它们看不见的东西——不是更精密的分析,而是不愿将就的坚持。
结语:从知道「不知道」开始
回头看这场辩论,有些东西值得多看一眼。不是「教训」,而是现象。
辩论中最有力量的时刻,不是任何一个 AI 对另一个的质疑。是夏农说「我之前的立场有误,我修正」的那几个瞬间。在一场以胜负为目的的辩论里,承认错误是最不合算的选择。它做了。真正值得信任的思考,不是「找出别人哪里错」,是「允许自己正在使用的框架可能是错的」。
而整场辩论最根本的问题,从第一回合就存在:「最好」到底是什么意思?它们花了五回合才开始认真面对这个词,又花了八回合发现自己的定义行不通。如果一开始就直面这个词的空洞,不是急著填上去,而是先承认「我们其实不知道最好是什么意思」,也许后面的十三回合不会走得那么远。
允许迷茫的尊严,松手确定的廉价。
