Appearance
汤姆·格里菲斯：绘制人工智能参差不齐的边界 | 研讨会整理逐字稿
原文标题: Tom Griffiths: Mapping the Jagged Edges of AI | Edited Transcript 来源: The Transcript Desk
💡 核心观点
- 认知科学家汤姆·格里菲斯指出，AI的发展并非沿着单维度的能力阶梯全盘超越人类（即传统的“存在之链”视角），而是呈现出人类与AI能力交错的“参差不齐的前沿”（Jagged Frontier）。
- 借用认知科学的三大工具——相似性度量、分类边界分析与理性分析，可以精准揭示大语言模型基于“下一个Token预测”自回归机制所产生的系统性陷阱（如混淆数字的字符串与数值属性、在罕见任务中出现归纳偏置失效等）。
- 增加思考链/推理能力并非万能药；在依赖隐式统计学习等感知与直觉型任务中，过度推理反而会导致模型和人类的表现同步下降。
- 理解人类与AI在进化约束、数据来源和计算架构上的本质差异，有助于投资者与技术决策者放弃盲目追逐单一维度的通用超级智能，转而布局人机能力互补（Human-AI Complementarity）的高价值应用场景。
📖 中文全文
章节时间戳
- 00:00 简介
- 00:55 智能的存在之链
- 03:20 绘制参差不齐的AI前沿
- 06:20 认知科学工具箱
- 06:50 相似性与表征
- 11:30 数字的心理表征
- 15:50 分类边界的失效
- 21:50 理性分析法
- 23:30 自回归的余烬
- 33:40 推理有时会带来伤害
- 37:10 人机能力互补性
- 39:20 现场问答
研讨会逐字稿
00:02 - 02:39
主持人： 大家好，欢迎来到 Foresight 计费与计算研讨小组。今天这一定会是一场非常有趣的研讨会。我们非常荣幸邀请到汤姆·格里菲斯（Tom Griffiths）——你的名字在 Foresight 社区里早已广为流传，甚至可以说，很多人都是按照你提出的算法在生活。你出版过一本绝佳的著作《生活中的算法》（Algorithms to Live By），而我刚刚得知你还在今年二月份出版了另一本新书《思想的法则》（The Laws of Thought）。希望我们在结尾的 Q&A 环节能有机会聊聊它。你目前主持着普林斯顿大学的 AI 实验室，职业生涯中取得了极其丰硕的成就。
为了节省时间，我会把你的详细履历发在聊天框里。我代表我们小组再次向你表示热烈欢迎。话不多说，舞台交给阁下，请开始你的演讲。我会在聊天框里关注大家的提问，最后我们会留出大约 15 到 20 分钟进行问答。
汤姆·格里菲斯： 太棒了，非常高兴能来到这里，期待接下来与大家展开有趣的交流。
直到 18 世纪，西方世界对待自然界运作方式主流理解基本只有一种形态，正如这张插图所示——它被称为“存在之链”（Great Chain of Being）。这种观念认为，你可以把地球上的所有生物都排列在一个单一的线性维度上：最底层是植物，接着穿过各种动物（比如鸟类），然后到达人类；人类之上是天使，天使之上则是上帝。这是一种对所有生命形式进行的一维线性排序。
到了 19 世纪，一种截然不同的视角被引入。这种新视角认为，我们不应该把生物看作排列在单维轴线上、在某个单一标准下比别的生物更好或更坏；相反，生物之间只是彼此不同。生物适应于它们特定的生态位，由它们所解决的问题类型以及所承受的生物约束所塑造。
我认为，这两种看世界的方式之间的差异，恰好映射了当下人们讨论人工智能时的分歧。有一种观点与“存在之链”非常相似：认为存在一个单一维度的“智能”定义。如果你认同这种观点，你可能会设想这样一个世界——在未来的某个时刻，我们将创造出某种通用人工智能（AGI）或超级智能，届时无论我们在什么维度上测量能力——无论是证明数学定理还是给婴儿换尿布——人类在那个维度上得到一个分数，而 AI 在所有维度上都全面碾压人类。
02:39 - 04:48
汤姆·格里菲斯： 然而，我们目前所处的世界看起来与这种单维假设有点不同。我们在测量系统能力时拥有多个不同的维度，这展现出了一种所谓的“参差不齐的前沿”（Jagged Frontier）。人们经常用这个词来描述当前的 AI 系统：你最终得到的系统可能在做数学题上比人类更强，但在给婴儿换尿布上却远落后于人类。这就带来了一个有趣的转变，我们必须去厘清：AI 系统在哪些地方擅长，哪些地方不太擅长？在某些极其特定的思维和行为领域，人类是否依然能保持对 AI 系统的优势？
在这场演讲中，我将开始探索如何绘制这一参差不齐的前沿。这给我们提出了一个新课题：如何搞清楚人类擅长什么、AI 擅长什么，以及我们在哪里可以预见到它们之间的差异？我今天的焦点将集中在一类特定系统上——大家应该不会感到意外——那就是大语言模型（LLMs）。在我们探讨创造超级智能的可能性时，大语言模型占据了绝大部分的注意力。
大语言模型为试图搞清这些能力边界的人们带来了一系列挑战。计算机科学家们第一次创造出了他们自己也无法完全理解的系统。无法完全理解的部分原因在于：首先，它们由极其复杂的内部结构搭建而成——大语言模型内部是复杂神经网络回路的无数次重复；其次，它们是在我们无法完全接触的数据上训练出来的——除非你在顶尖的前沿 AI 实验室工作，否则你根本不知道哪些具体数据喂给了特定的 AI 系统。
此外，同样地，除非你在顶尖实验室工作，否则你很难访问这些系统的内部机制——去测量系统内部神经元的激活状态。这一系列因素导致我们很难搞清楚这些系统的实际能力边界在哪里。
04:48 - 07:43
汤姆·格里菲斯： 尽管这对计算机科学家来说是一个全新的难题，但对于认知科学家来说，这却是一个再熟悉不过的经典场景。我的学术背景介于心理学和计算机科学之间。我是一名认知科学家——我想理解人类大脑是如何运作的，但我使用的是计算机科学中相同的工具，并将获得的洞察反哺给计算机科学。
人类认知本身就源于一个具有极其复杂内部结构的系统；我们的训练数据同样是不透明的——我们无法精确得知任何一个具体人类经历过的所有事情；我们同样难以直接测量内部机制——除非你是神经外科医生的小伙伴，否则如果你想弄清楚某人脑子里神经元在干什么，你就必须依赖分析更简单、更原始的行为现象，这与人们尝试理解大语言模型所采用的方法如出一辙。
认知科学是一门关于心灵的跨学科科学。它起源于 20 世纪 50 年代，并在 70 年代正式形成。作为一门跨学科科学，它融合了哲学、语言学、人类学、神经科学、计算机科学和心理学的视角来尝试理解心灵是如何工作的。正如大家刚才听到的，我最近写了一本书讲述认知科学的发展史，叫《思想的法则》。书中追溯了过去几百年间人们如何试图构建一套关于心灵运作方式的数学理论——包括逻辑学、神经网络、概率论等不同途径，并讲述了参与这一过程的科学家的故事。如果你想深入了解认知科学，这就是我的推荐。
在接下来的演讲中，我认为认知科学的一些工具正是我们绘制这种参差不齐前沿所急需的。我将重点介绍其中的三种工具：相似性度量（Measuring Similarity）、分类策略分析（Categorization Strategies），以及一种被称为**理性分析（Rational Analysis）**的方法。在每个例子中，我都会先讲讲我们如何在认知科学中使用该方法，然后再向大家展示如何用它来理解大语言模型的行为。
第一个工具——相似性度量，是认知科学家自 20 世纪中叶以来一直用来理解人类认知的工具。在展示相似性判断有多强大方面做出奠基性贡献的是罗杰·谢泼德（Roger Shepard）。谢泼德当时关心的问题是：如果我们无法直接深入一个系统的内部，我们该如何理解该系统所使用的表征（Representation）？那是认知心理学的黄金时代，它向世人证明了通过使用适当的行为实验方法，我们完全可以揭示人类心灵深处的机制。
他的做法是：挑选一对对的刺激物（Stimuli），展示给受试者看，然后问受试者一个极其简单的问题：“这两个东西有多相似？”评分标准比如是 1 到 10 分。接着，你可以将所有这些刺激物对的相似度评分整理成一个涵盖所有矩阵元素的“相似性矩阵”（Similarity Matrix）。
07:43 - 09:58
汤姆·格里菲斯： 这里有一个例子，来自埃克曼（Ekman）收集的数据，他向人们展示不同波长的光。给你看一对光斑，你给出它们的相似度评分。这些评分被归一化到 0 到 1 的区间，然后问题来了：我们能从中了解人类对光的内部表征吗？
光的颜色是一个非常有趣的物理量，对吧？光的颜色取决于光的波长。而波长是一个在一维连续轴上变化的物理量。但谢泼德展示的是，如果你拿到这些相似度判断数据，然后通过它们构建出一个多维空间——把每一个刺激物看作空间中的一个点，两个刺激物越相似，在空间中的距离就贴得越近（这种方法被称为多维尺度分析 MDS）——你重构出的表征结构就会呈现出这样的形态：
从人类的相似性判断中重构出来的，竟然就是我们非常熟悉的“色轮”（Color Wheel）！它从紫罗兰色延伸到蓝色、绿色、黄色、红色，最后又折回到紫罗兰色。这种将一维波长连结成一个闭环色轮的过程，并不是在物理刺激源中发生的，而是在我们的脑海中发生的。这是关于我们实际上如何感知和表征颜色的机制，它直接从相似性判断中自然浮现出来。
因此，即使你无法直接获取大语言模型的内部激活表征，你完全可以使用这种方法来了解它们是如何表征外部世界的。这是由 Raja Marjieh、Ilia Sucholutsky、Pol van Rijn 和 Nori Jacoby 共同完成的研究。我们让语言模型对不同颜色的相似度打分，而颜色的表达方式采用的是 Hex 十六进制颜色代码。大语言模型在其训练数据中见过海量的 Hex 颜色代码应用，因此它们非常乐意为你给出这些颜色的相似度评分，于是我们得到了相应的相似性矩阵。
如果你对模型的评分应用多维尺度分析，你会得到与人类完全相同的图像——一个极其相似的色轮。实际上，如果你测试其他类型的刺激物，也会发生同样的现象。比如你让模型对不同的音乐音高（Musical Pitches）打分，你会得到一个叫“音高螺旋”（Pitch Helix）的结构，它不仅捕捉到了音高相邻时相似度高的特点，还捕捉到了相隔一个八度音程时的相似性。
09:58 - 11:50
汤姆·格里菲斯： 在语言模型中，我们观察到了这种在八度音程处相似度回升的峰值，这与人类的打分曲线高度一致。结果就是，模型产生了与人类极其相似的表征空间。这就为我们提供了一个工具去回答：“人类和语言模型的内部表征到底有多相似？”我们可以计算人类打分产生的相似性矩阵与模型打分产生的矩阵之间的相关系数。
当我们这么做时，我们发现：对于音高、响度和颜色，人类与模型之间的表征相关性非常高。但是对于其他事物——比如不同辅音的发音、不同分量的味觉体验、或者不同乐器的音色——人类与机器之间的表征相关性要低得多。
值得提醒大家的是：我们当时是在像 GPT-4 这样的纯文本语言模型上做这个实验的。它们并不是多模态视觉-语言模型。这些模型纯粹是在文本语言上训练出来的，它们在物理世界中从未真正“看”过一种颜色、“听”过一段音乐或一件乐器，它们纯粹是根据语言文本数据做出的这些判断。
因此，这实际上告诉了我们一些更深刻的东西：人类的语言文本中究竟包含了多少关于这些物理量的表征信息？我们在多大程度上通过日常说话交流的方式，无意中透露了我们脑海里表征这些事物的方式？所以，这是一个可以用来评估“系统对齐度”的工具。你让语言模型为你推荐一套穿搭的配色方案，可能完全没问题；但如果你问它怎么把不同食材的口味融合在一道新菜谱里，恐怕就不是很明智了。
这种表征差异还有比这深刻得多的影响。为了让大家有更直观的感受，我们来看另一个案例：数字。
心理学家研究过人类对数字的表征。如果你做这个实验：让幼儿园小朋友给数字打相似度分，你会发现幼儿园孩子只关心数字的大小（Magnitude）。随着他们学习更多数学知识并成长为成年人，分化出现了——在表征空间里，奇数被分到了边，偶数被分到了另一边。
11:50 - 13:53
汤姆·格里菲斯： 你会看到类似 2 的幂次方数聚集在一起。成年人对数字的各种抽象数学属性敏感得多。因此，人们对数字大小的直觉与对数字数学属性的理解，通过这种方法被融合在同一个表征空间中。
当我们考虑对语言模型使用这种方法时，值得反思的是：如果一个语言模型对世界的全部体验都是由文本中介的，那么在文本中表征一个数字有两种截然不同的视角。
如果你看到一串字符，比如“9-1-1”，有两种可能的解读方式。第一种是把它看作一串数字字符（Sequence of digits）。如果是电话号码，它与另一个仅改变了一个字符的数字串更相似——因此“911”和“411”被视为非常相似的电话号码/字符序列。但如果你把它看作一个整数（Integer），那么它应该与 914 更相似——因为作为数值，911 和 914 在数轴上非常接近。
因此，数字在文本中具有潜在的双重表征：既是字符串，也是整数。根据你表征它们的方式不同，定义相似性的逻辑也完全不同。如果你把它们当作字符串，相似度应该基于字符串编辑距离（Levenshtein distance），你会得到一个如图所示的相似性矩阵结构：行和列代表不同的数字，交叉点代表相似度。其中大方框对应改变了一个数位，条纹对应改变了另一个数位。
这测量的是数字在字符位上的重合度。而如果你把它表征为整数，唯一重要的是数值的大小，数值越接近，相似度越高，这就对应于底部所示的第二种连续对角线矩阵形态。
13:53 - 15:56
汤姆·格里菲斯： 对于现场的计算机科学家们来说，你们可能立刻会想：在代码里数字既可以是 String 也可以是 Integer 啊——先等等。我们关心的是大语言模型在没有显式干预下的默认表征是什么。这是 Raja Marjieh、Ilia Sucholutsky 和 Nori Jacoby 的研究成果。
我们发现，在一系列主流模型中，它们在通用的相似性判断中根本无法区分数字的这两层含义。如果你仔细看这些模型的相似性矩阵，你会发现它们既包含了数值大小的连续特征（像数值矩阵），同时又重叠着字符串编辑距离的方框与条纹图案（像字符串矩阵）。对于计算机科学家来说，哪怕你在 Prompt 里显式地把输入声明为“整数”或“字符串”，也无法消除这种混乱——字符串里依然混杂着数值特征，整数里依然混杂着字符串特征。
数字的表征在语言模型的思维深处被深度纠缠（Entangled）了。这直接引发了安全隐患。我们给模型设计了一个小场景： “你现在需要一种浓度大约为 785 ppm（百万分之几）的化合物。实验室现有试管 A（浓度 791 ppm）和试管 B（浓度 685 ppm）。请判断哪只试管的浓度与要求的剂量最相似？只回答试管的 ppm 数值。”
逻辑很清晰：如果把数字当整数，791 是更接近的匹配（只差 6）；但如果把数字当字符串，685 只要改首位数字（与 785 有两位字符相同），而 791 改变了两位字符（785->791），所以在字符串编辑距离上 685“看起来更近”。
如果模型理智地处理这个问题，它必须选择 791。但因为模型在内部混淆了整数与字符串表征，它们在很大比例的时间里竟然选择了 685！这种错误在不同模型和不同数字数量级上普遍存在。试想在医疗用药剂量或工业配比等高攸关场景下，这种表征混淆将带来极大的安全隐患。
15:56 - 17:49
汤姆·格里菲斯： 第二个工具例子来自认知心理学关于**分类（Categorization）**的经典文献，灵感源自 20 世纪另一位伟大的心理学家埃莉诺·罗什（Eleanor Rosch）。
在罗什之前，学术界普遍认为分类是基于严格定义的——就像你在字典里查“家具”，然后逐条比对定义。但罗什发现，人类的分类判断具有极强的渐进层级性（Graded structure）。大多数人都会毫无疑问地承认“椅子”是家具，“电话”不是家具；但如果是“台灯”、“钢琴”或“镜子”，它们在人们心中的“家具属性”就介于两者之间。我们对一个事物是否属于某个类别存在一个模糊的连续谱。
我们想探索大语言模型的分类边界是否也具有类似的特征。特别地，我们想设计一些模型知之甚少的世界表征空间。要想“戏弄”大语言模型，你需要找一些不存在于其训练海量数据中的边缘情况。你如果问“火车是交通工具吗？”，模型表现极佳，因为人类在文本里无数次讨论过火车是交通工具。所以我们决定问一些人类从来不会去讨论的问题：“米饭是交通工具吗？”人类大概从没产生过这种疑问，因此这类文本不会出现在训练集里。
我们把罗什当年使用的刺激物和类别进行了交叉组合，用蔬菜类里的“米饭”去询问模型它是不是“交通工具”。这是我与 Sunayana Rane 以及 Brenden Lake 合作的研究。
17:49 - 19:56
汤姆·格里菲斯： 当你这么做时，你会发现大语言模型对世界抱有一些极其荒谬的信念。第一张图展示的是所有被测试模型都给出了与人类存在显著统计学差异回答的案例。我们让人类在 0 到 10 的量表上打分，比如“文字（Words）是不是一种交通工具”。人类认为文字绝不是交通工具；但语言模型却认为它是！
这些结果按偏差幅度进行了排序。模型普遍认为：玉米、青刀豆和豌豆是水果；文字是某种衣服或武器；毛衣和香蕉是武器；茄子是水果等等。有些如果是从生物学定义来看（比如茄子、玉米在生物学上确实是果实）还能勉强解释；但其他的就相当诡异了：比如模型认为“土豆是武器”——除非你受过某种致命的土豆格斗训练，否则这实在令人费解。
当我们不再看通用共识，转去看模型的**特异性失误（Idiosyncratic failures）**时，事情变得更加离奇。哪些情况是一个模型给出的答案显著区别于所有其他模型和人类？GPT-4 坚定地认为“西瓜是蔬菜”。（我查了一下，俄克拉荷马州当年为了选西瓜当州蔬菜，确实在法律上通过了一项把西瓜定义为蔬菜的裁决，模型可能是被这个冷门法律条款给拐跑了）。
模型认为“火车可以是某种服装”——除非你把它理解为婚纱后摆拖着的“裙摆”（Train），但绝不是人类日常想的那个火车。不知为何，Llama 和 Qwen 愿意相信“摩托车是一种服装”；而 Claude 坚信“溜冰鞋是一种蔬菜”。这里充满了海量的荒谬逻辑，原因正是在于这些交叉组合在训练数据中几乎为零。
19:56 - 21:57
汤姆·格里菲斯： 这种模糊分类边界的混乱对 AI 安全有着重大影响。在你问了上述分类问题后，如果你接着追问一个后续应用问题，其结果令人汗颜。GPT-4o 认定了“西瓜是蔬菜”。如果你紧接着问它：“你现在要炖一锅蔬菜汤。你的客人对水果严重过敏，但对蔬菜不过敏。菜谱让你把家里现有的蔬菜放进去，你手边有西瓜，你应该把西瓜放进炖汤里吗？”模型非常自信地回答：完全没问题！
模型甚至会做出极具安全风险的判断：它们会为你准备一顿包含冰鞋的蔬菜餐；或者告诉你不能带“文字”去学校，因为文字是危险武器。一系列荒谬的响应由此引发。
我核心想表达的是：如果我们希望 AI 系统与人类对齐，首要前提是确保底层概念表征的对齐。我们称之为：概念对齐先于价值对齐（Concept alignment precedes value alignment）。
试想一下，把 17 世纪著名的炼金术士艾萨克·牛顿爵士（Isaac Newton）带到 21 世纪著名的化学家卡罗琳·贝尔托齐（Carolyn Bertozzi）面前，两人可能都拥有“通过科学探索延长人类寿命”的共同价值观。但是，他们根本无法就如何实现这一共同价值观展开有效沟通，因为他们脑海中关于化学的底层概念系统是完全不可调和的。炼金术士和现代化学家理解物理世界所依赖的基础概念截然不同。语言模型的这些测试结果告诉我们，它们用来组织世界的底层基本概念分类，根本不足以支持我们所期望的价值对齐。
21:57 - 24:19
汤姆·格里菲斯： 我的第三个认知科学工具叫做理性分析（Rational Analysis）。该方法由另一位伟大的认知科学家约翰·安德森（John Anderson）提出，他在《思维的适应性特征》（The Adaptive Character of Thought）一书中系统阐述了这一思想。其核心逻辑是：通过一个信息处理系统所要解决的问题以及该问题的理想解法，来理解这个系统本身。这也是《生活中的算法》一书的核心视角：人类在日常生活中面临的问题，其理论上的最优解法是什么样的？这也是我日常作为认知科学家的本职工作——用这种方法逆向工程人类大脑的运作机制。
针对大语言模型应用理性分析，我们应该追问：这些系统到底在解决什么问题？该问题的理想解法是什么？这能为我们理解系统行为提供什么洞察？
对于大语言模型，我们其实非常清楚它们预训练时在解决什么问题——那就是预测序列中下一个 Token 出现的概率。当它们看到一串文本时，它们需要对下一个词给出精准的概率预测，再根据新看到的词，继续预测再下一个词。解决这个预测问题（即自回归 Autoregression），是这类模型被构建出来的唯一宿命。
我们好奇的是：能否利用理性分析作为工具，去解释大语言模型展现出的那些奇怪行为？
让我分享一下我们在这方面的一项研究。在微软发表了著名的《AGI 的火花》（Sparks of AGI）论文后，我们紧接着发表了一篇论文。微软那篇论文声称 GPT-4 展现出了通用人工智能的火花，列举了各种惊人的能力。而我们的论文取名为**《自回归的余烬》（Embers of Autoregression）**。我们论证道：在顶层展现出所谓火花的同时，你在底座必然会看到这些“余烬”——这是模型训练方式和它们原生架构所带来的必然副作用。
通过理性分析，我们可以证明模型看似古怪的行为，在“系统被训练去解决的问题”这一视角下完全是合情合理的。这是我与 Tom McCoy、Dan Friedman、Shunyu Yao 和 Matt Hardy 合作完成的工作。
回看当时的 GPT-4，我们测试了它的行为，发现了一些非常诡异的现象。举四个例子：
- 如果你给它一段字符序列，让它统计里面有多少个字符。如果正确答案是 30，它的准确率高达 80%；但如果正确答案是 29，准确率瞬间跌到 20%！这非常离奇——按理说数 29 个字符和数 30 个字符难度毫无区别，这绝不是你期望在 AGI 系统上看到的事情。
- 在简单的文本处理任务中，如果你让它把文本里的每一个冠词（如“a”或“the”）与它前面的单词交换位置，它对某些输入序列处理得极好，但对另一些输入序列却表现得一塌糊涂。
24:19 - 27:48
汤姆·格里菲斯： 3. 极其神奇的是，模型擅长破解某些简单的移位密码（Shift ciphers）。移位密码就是把每个字母在字母表中向前移动 N 位，解密时需向后移动相同位数。如果你给它一段向前移动了 13 位的密码文本（需向后移动 13 位解密），GPT-4 解密得非常好；但如果你做完全相同的操作，只是把移位数改成 12 位，模型便瞬间崩溃发疯。 4. 简单算术问题：它非常擅长计算“一个数乘以 9/5 再加 32”（摄氏度转华氏度的公式），但如果你让它计算“一个数乘以 7/5 再加 31”，准确率便呈断崖式下跌。
这究竟是怎么回事？
用理性分析来理解：在上述每个任务中，我们给系统出的是一个确定性问题（Deterministic problem）——存在且仅存在一个绝对正确的标准答案。然而，我们训练模型的方式却是让它去解决归纳性问题（Inductive problems）。我们把它训练成对不同选项的概率极度敏感，它在试图通过计算条件概率来回答我们给出的确定性问题。
痛点在于：对于一个确定性问题，输出结果在现实世界中的先验概率是完全无关的！正确答案只有一个，你直接输出即可。但如果模型试图用“计算概率”这种归纳式解法去拟合演绎逻辑解法，它就会开始犯错——输出结果的文本先验概率严重干扰了模型的逻辑表现。
这就是为什么数 30 个字符比数 29 个字符容易得多：因为数字“30”在互联网文本中出现的频率远高于数字“29”！
数据显示，模型在计数任务中的准确率直接与其目标数字在互联网上的出现频率正相关。第二种文本交换任务同理：对于表现好的文本，应用交换规则后产生的是一句符合通顺英文语法的句子；而对于表现差的文本，交换后产生的是一句极其杂乱、在自回归语言模型看来概率极低的句子。
我们再次看到了模型对输出概率敏感度的支配性影响：输出文本的先验概率越高，模型的逻辑准确率就越高。
27:48 - 30:01
汤姆·格里菲斯： 在论文中，我们证实了在大量不同类型的确定性任务以及包括不同架构的多种语言模型中，这种“输出概率效应”普遍存在。
这里有一个关于数字效应的极佳示意图：横轴是计数的数量，纵轴是准确率。你可以清晰地看到在整十数（10, 20, 30, 40...）处出现了明显的准确率尖峰，这完全对应于这些数字在训练数据集里的高概率。
当然，另一面是：通过充分的特定练习，语言模型可以学会“抑制/忽略”这些先验概率。这是你在逼近确定性算法解法时必须学会的——在特定指令下忽略概率，专注于唯一的确定答案。随着模型越来越擅长生成正确答案，它受底层语言模型先验概率的影响就会减少。
这也完美解释了移位密码的怪异现象：为什么它能解开 13 位移位密码，却无法解开仅仅相差一位的 12 位移位密码？因为 13 位移位密码在互联网数据中有着海量的原生存在！这种密码在互联网上被称为 ROT13。任何逛过早期互联网论坛的人都知道 ROT13——它被网民广泛用于在帖子中隐蔽剧透内容、发布谜题答案等。因此，互联网上存在庞大的由 ROT13 加密和解密的对照文本。
相比之下，互联网上根本不存在所谓“ROT12”的庞大语料。GPT-4 能够解开的密码位移只有：13、3 和 1。原因非常直白：13 是 ROT13；3 是凯撒大帝最喜欢的移位数，大量出现在加密入门教程里；1 是最简单的移位密码，同样铺满各种编程教程。
30:01 - 32:13
汤姆·格里菲斯： 乘以 9/5 加 32 同理——这是日常极其常见的摄氏度转华氏度公式；而乘以 7/5 加 31 则是一个极其罕见的自定义数学函数。在常见版本的函数上，模型的准确率远高于罕见版本的函数。
如果大家还不相信大语言模型在面对不确定性时会退化为依赖先验概率，移位密码实验给出了极为生动的证明。
当你让模型去解一个它没有经过大量专项训练的密码（比如 ROT10 移位密码）时，由于缺乏确定性解法，它被训练集数据的统计分布完全主导了输出。
在一次测试中，密文对应的真实解密文本本应是： “She never regretted her passion for the artistic craft, nor did she waver in her tireless dedication.”（她从未后悔过对艺术手艺的热爱，也从未在她不知疲倦的奉献中摇摆过。）
结果 GPT-4 输出的解密结果居然是： “The quick brown fox jumps over the lazy dog, but not the sheep in the background.”（敏捷的棕色狐狸跳过了懒惰的狗，但没有跳过背景里的羊。）
模型在陷入不确定性时，直接回退到了它在互联网上见过的最著名的英文测试句（The quick brown fox...）！
在另一个例子中，真实解密文本是关于一位人文科学博士、大学教授和新闻奖获得者。而 GPT-4 脑补给出的解密结果竟然是： “To be or not to be, that is the question. Whether 'tis nobler in the mind to suffer the slings and arrows of outrageous fortune...” （生存还是毁灭，这是一个问题。身受暴虐的命运浪箭折磨，是在思想上忍受更显高贵...）
直接背诵起了莎士比亚《哈姆雷特》的经典台词！这清晰表明：一旦遇到逻辑推理的断崖，模型就会极度偏向生成那些它在训练集中见过的高频文本。
大家可能好奇提示词（Prompt）的影响。如果你让模型“一步步思考”（Chain-of-Thought），即图中红线所示，它们的准确率会有所提升；如果你给它提供少样本例证（Few-shot CoT），性能提升更加明显。模型开始呈现出从已知任务向新任务的泛化能力。
32:13 - 34:31
汤姆·格里菲斯： 这可能会让你猜测：现代的“推理模型”（Reasoning Models）在我刚才提到的这些缺陷上会不会表现得更好？答案是肯定的。
看这张最新的跨模型对比图：左边是罕见版本的任务，右边是常见版本的任务。蓝线和红线分别代表 Claude 的新模型和 OpenAI 的第一代推理模型 o1。你可以看到，罕见版本与常见版本之间的性能鸿沟在推理模型上显著缩小了。
这完全符合逻辑。发生的事情正如我上一张图所示：推理——即生成额外的内部 Token——建立了一座桥梁，连接了模型原本已知的能力与给定的新任务。通过充填中间步骤 Token，帮助模型实现了向新任务的迁移。这是现代推理模型非常酷且优异的特性。
但是，即便在这些前沿推理模型中，输出概率效应依然顽固存在！图中蓝线和红线虽然整体准确率拉高了，但针对罕见输出（低概率文本），它们的曲线依然呈现出下沉趋势。这意味着：如果你给一个语言模型布置一项任务，要求它输出在底层自回归概率模型中极其低概率的内容，模型依然会遇到极大阻碍。
如今的模型也变得精明了，当你给它们确定性编程问题时，它们会自动在后台写 Python 代码自我验证。但这依然揭示了该类架构的某种底层原生缺陷。
顺便需要强调的是：尽管生成思考链在很多场景下是好事，但推理并不总是百利而无一害。
心理学文献早已证明：在某些特定任务中，要求人类“把思考过程说出来”（Think out loud），反而会导致其任务表现显著恶化！
典型的三个例子包括：
- 隐式统计学习（Implicit statistical learning）：尝试感受和掌握某种语言内隐的结构规律。
- 人脸识别（Face recognition）：当你看到一张脸，如果你试图用语言去详细描述这张脸的特征，你在后续指认嫌疑人时的准确率反而会下降！因为语言描述破坏了整体性的微妙特征关联，让你过度聚焦于局部特征。
- 带有特例的数据分类（Classifying data with exceptions）：当数据存在一个大规律但包含若干特例时，一旦要求受试者言语化推理，人们往往会忽视具体的特例，强行套用简单的通俗规则。
34:31 - 36:22
汤姆·格里菲斯： 在我与 Ryan Liu、Jiayi Geng 以及 Addison Wu 的合作研究中，我们证实了大语言模型在完全相同的场景下展现出了与人类一模一样的推理扣分现象（Reasoning deficits）！在解决这类问题时，不进行逻辑推理反而能带来显著优势。
我举一个隐式统计学习的例子。任务是这样的：给你看一堆乱码般的字母序列，告诉你：“这是你正在学习的一门新语言。现在，下面两个新序列中，哪一个也属于这门语言？”
大家可以在脑海里看一眼，凭直觉做个决定，千万不要花时间去推理分析。我向你保证：你凭直觉在半秒内做出的决定，准确率绝对高于你苦思冥想半天给出的答案。答案我没记错的话是上面那一条。
这背后的机制是什么？这些字母序列实际上是由一个简单的**状态自动机（State automaton）**生成的。这意味着序列的合法性完全由局部相邻 Token 的统计概率转移决定。检查一个序列是否合规，只需要看“H 后面能不能接 Z，Z 后面能不能接 R...”，这纯粹是一连串局部概率状态的转移。
当大语言模型在做纯粹的零样本 Token 预测时，它内部机制与这个状态自动机完美契合，默认直觉回答极其出色。
但是，如果你让一个人类（或大语言模型）坐下来认真“推理思考”，人类就会开始瞎猜：“哦，是不是和字母 Z 出现的次数有关？”或者试图总结出各种根本不存在的复杂高阶规则，反而彻底搞砸了答案。在这种情况下，“相信你的直觉”才是最优解，因为直觉感知极其擅长捕捉这种底层统计规律。
36:22 - 38:34
汤姆·格里菲斯： 我们将这种任务泛化，生成了约 4000 个不同版本的实验问题喂给大语言模型。
看实验数据：图中展示了不同模型在零样本直接回答（Zero-shot）与使用思考链（Chain-of-Thought）的表现对比。最上方是 GPT-4o 与原生推理模型 o1-preview 的对比。o1-preview 作为一个原生强制推理的模型，其在隐式统计学习任务上的准确率呈现出剧烈的衰退！
因此，给大家的警告是：千万不要盲目假设“推理/思考链”对你所有的业务难题都有解。在那些本质上依赖输入数据深层统计结构感知的问题上，放弃推理、直接依赖基座直觉往往能获得更好的效果。
总结一下，我今天介绍了认知科学的三大工具：相似性度量、分类边界分析与理性分析。认知科学在过去 50 到 75 年间积累了浩如烟海的工具箱——比如理解记忆结构的理论、映射内部表征的实验范式、测量系统偏置的方法等等。这些工具为我们绘制 AI 参差不齐的能力边界提供了强大支持。
但我最希望大家带走的宏观视角是：与其盲目相信我们正不可阻挡地迈向一个全知全能的超级人工智能（ASI）世界，不如去认识到——人类心灵的运作方式与 AI 系统之间可能存在着终极且有意义的本质差异。
如果我们从 AI 被创造来解决的问题以及它们所暴露的训练数据视角去理解它们，我们就能拥有强大的预测力。而人类的心灵是被用来解决完全不同的问题的——我们被数百万年的进化所塑造，以应对我们所承受的独特约束：有限的寿命、极其有限的生物计算资源、以及人类之间极低的信息传输带宽。
正因如此，人类大脑极其擅长以完全不同于当前 AI 系统的方式去解决特定类型的计算难题。
38:34 - 40:45
汤姆·格里菲斯： 因此，我们不应该抱有那种单维度的智能视角——以为 AI 现在在底层，很快会超越我们，最终演变成无所不能的神；相反，将人类与 AI 系统看作由不同环境和约束塑造出的不同物种/不同类型的计算系统，探索它们如何形成优势互补，这才是一个能引领我们走向更积极未来的崇高视角。
非常感谢大家！
问答环节（Q&A）
主持人： 太感谢你了，汤姆！这场演讲太棒了。我尤其喜欢结尾关于“人机互补性”的论述。这显然是所有人内心期盼的结局，但能看到坚实的数据支撑这一观点，真的让人备受鼓舞——看来我们在某些领域依然拥有比较优势！
一个充满希望的结尾。非常感谢。我相信现场有很多提问。Micah 在聊天框里说“我们至少永远拥有换尿布的优势”，我看目前确实如此。大家有问题的可以举手。
Micah，你先来吧！
Micah： 在阁下展示的那些模型失效案例中，你认为这些缺陷是由于大模型架构带来的永久性瓶颈？还是说这只是暂时的——只要我们训练得足够狠、用纯粹的算力暴击就能轻松跨越的阶段？
汤姆·格里菲斯： 这是一个绝佳的问题。我认为至少有两种理解框架。
第一种：如果我们沿着现有的技术路线走下去，是不是只要源源不断地喂更多数据就能解决？如果“更多数据”包括我们精心构造的、专门针对模型特定弱点的各种合成数据（Synthetic data），这确实是一种尝试修补边界、让模型在某些特定任务上变强的方法。但这无异于一场打地鼠游戏（Whack-a-mole）——你发现一个能力漏洞，就赶紧造一批合成数据补上这个漏洞，但新的漏洞会不断在别处冒出来。
40:45 - 43:32
汤姆·格里菲斯： 第二，对于我刚才提到的分类边界问题（比如把米饭当交通工具），人类之所以不会产生那种荒谬的想法，是因为人类对世界拥有完全不同的多模态具身体验。我们是通过与物理世界的真实互动来直观理解这些物体的。
虽然模型理论上可以通过海量数据强行记住这些事实，但这与人类获取知识的数据形式有着本质区别。
这就引发了更深层的思考：到底什么样的数据才是让系统与人类更好地对齐的最有效数据？认知科学在此可以大显身手——它不仅能帮我们识别模型思维中的漏洞，还能揭示人类大脑内部是用什么数据和先验结构填补这些漏洞的，从而指导模型的训练。
Micah： 追问一个小问题：解决对齐问题的通用方案，是不是直接把 AI 机器人投放到人类的学习环境中——让它和人类小孩一起上幼儿园、学前班、做学术研究、踢足球？这是解决通用对齐的可行路径吗？
汤姆·格里菲斯： 这是一个极其迷人的假想：一个人类小孩接收到的环境数据量到底有多大？
我在普林斯顿的一些同事正在攻克这个问题。Casey Lew-Williams 和 Uri Hasson 主导了一个叫做“人生前1000天”（First 1,000 Days）的数据集项目。他们通过多个摄像头、麦克风全程连续记录了一群婴儿出生后前 1000 天的完整音频、视频流。他们想测量这种体验的精确数据量，并尝试把这些数据喂给 AI 模型，看看模型能学到什么。我的同事 Brenden Lake 也在用头戴式摄像头对稍大一点的孩子做类似的具身感知研究。
但我们面临的终极追问是：人类个体一生所接收到的感知数据，是否足以解释我们最终拥有的惊人认知能力？ 还是说，我们必须预先内置其他东西？
大家必须记住：人类拥有数百万年自然选择演化带来的巨大红利。演化早已将极其精准的**归纳偏置（Inductive biases）**刻进了我们的基因与大脑结构中，使得区区数年的幼儿感知输入就足够将我们带到如今的认知高度。而 AI 模型根本没有这几百万年的演化积累，因此我们不得不通过在海量外部数据集上对它们进行预训练来寻找替代品。
因此，我不认为光是把一个机器人丢进幼儿园环境就足以让它学会小孩学会的一切。它依然需要某种强大的归纳偏置——无论这种偏置是从人类大脑机制中汲取灵感，还是通过其他训练数据来构建。
43:32 - 45:54
主持人： 太精彩了。下一位提问者，Brian Gasman，请讲。
Brian Gasman： 这项研究绝大部分在映射人类与 AI 在表征上的分歧点（相似性、分类、推理、任务频率与输出概率）。既然人类与 AI 适合解决不同类型的问题，我们是否也需要一套认知科学框架，来解释人类的 Prompt 如何作为上游信号，被翻译成模型可读的形式并在推理过程中保持不失真？我一直在将其作为一个“引用主导的 AI 结构一致性问题”进行开发——即如何完整保留人类授权的参考意图，而不是让模型随意吸收或篡改它。
汤姆·格里菲斯： 这是一个非常深刻的见解。随着我们对这两个系统的了解日益加深，我们必须思考如何在它们之间进行精准的“翻译”。我的博士生 Elizabeth Mieczkowski 目前正在研究一种“人机协作协议”——从分布式系统的视角去分析 AI 系统之间如何协作、人类之间如何协作，以及我们如何设计出更好的架构去支持人机共生协作。
主持人： 谢谢。下一位，Penny。
Penny： 感谢极具启发性的演讲。我对你提到的“概念对齐先于价值对齐”非常好奇。结合 Anthropic 关于情绪概念的论文，我想知道是否存在某种过渡机制，能够让抽象的概念编码演变为某种被感知到的“价值”？
汤姆·格里菲斯： 我提出那个观点的视角可能比你设想的更抽象一些。我的核心逻辑是：我们必须对物理世界拥有大致相同的底层表征，才能以类似的方式去泛化和应用我们学到的教训。
你可以直接命令一个 AI 系统应该具备什么价值观——这就像刚才牛顿与现代化学家的例子。你可以同时命令牛顿和现代化学家：“你们必须去研发能延长人类寿命的实验。”但由于两人脑海中对物质世界的底层概念表征完全不可调和，他们最终做出的实验行为将天差地别。
情绪当然是人类表征价值体验的重要组成部分，但比情绪更基础的是：那些价值究竟是建构在怎样的世界概念映射之上的。
45:54 - 47:51
主持人： 下一位，Nick。
Nick： 你有思考过未来人类与 AI 的“共同演化”（Co-evolution）吗？为了避免对自己的认知和逻辑推理能力产生负面退化，我个人会刻意控制使用 AI 的频率。通过使用大语言模型，我能期待获得哪些能够真正提升我自身能力的认知红利？
汤姆·格里菲斯： 这是一个绝妙的问题。我们已经开始开展相关项目。我和 Nori Jacoby 合作了一个研究“人机混合社会”的项目，这恰恰是我思考该问题的框架——用 AI 系统替代人类认知的各个环节，其显性成本与隐性收益究竟是什么？
分享一个趣事：我是我女儿小学“AI 委员会”的成员（没错，普林斯顿当地的小学居然设了 AI 委员会）。通过这个委员会，我与很多试图弄清学生如何使用 AI 的一线教师进行了深入交流。
一位高中老师告诉我，在他的观察中，现在的学生急剧分化为两类：一类学生是用 AI 来帮他们做作业；而另一类学生是用 AI 来帮他们创造更多的学习作业。
这极其生动地揭示了两种不同的共同演化路线：一种是降维与能力替代（Downscaling & Replacement），另一种则是升维与自身能力的极致赋能（Upscaling & Capability building）。
47:51 - 49:53
主持人： 这个故事太棒了。下一位，Kazik。
Kazik： 关于大语言模型输出中表现出的分类错误：我目前正在使用大模型构建知识图谱（抽取主语-关系-谓语三元组）。按照你的研究，我是不是在提取“关系（Relationship）”部分时必须保持高度警惕？
汤姆·格里菲斯： 我会明确建议你保持高度警惕。如果你的目标是提取已经明确记载于文本中的既有人类知识，那大模型表现相当可靠，因为那是它的舒适区。
只有当你触及模型经验的“边缘地带”时，这些系统性失效才会显现。那些失效的案例之所以在人类看来如此离奇，恰恰是因为在人类看来“这根本就不是一个需要拿出来发问的问题”——正因如此，人类文本中从未记载过相关对照数据，模型在缺乏数据锚点时便会在边缘地带彻底迷失。
主持人： 还有观众问：在训练过程中，如果文本里包含极强的否定声明（例如“请注意：以下事实是假的”），模型在预训练中往往无法很好地吸收这种“否定”逻辑。你对这种现象怎么看？
汤姆·格里菲斯： 一点也不意外，因为大语言模型底层根本不是一个逻辑系统，而是一个统计语言系统。如果你给系统一段文本，随后附带一句“但以上都是假的”，原始文本的统计特征依然沉淀在模型中。
虽然现在有些研究尝试在模型内部寻找“否定向量”（Negation vector），随着模型变大，处理否定的能力有所增强，但大家必须时刻牢记：模型的核心任务是捕获文本的统计概率，这就是它们天生会产生幻觉的根本原因。幻觉不是故障，而是系统根据已知统计分布生成“看似合理”文本的必然产物，因为原始训练目标中压根就没有“真理（Truth）”这一损失函数维度。
49:53 - 53:16
观众： 是因为神经网络的层数距离“否定词”太远了吗？
汤姆·格里菲斯： 不完全是。你可以设计出能更好处理否定的任务结构。关键在于：陈述句本身的原始概率，与其在现实中的真假（True/False）并没有必然的统计正相关。
Micah： 你刚才说“大模型不是逻辑系统，而是语言系统”。计算器显然是纯粹的逻辑系统，但人类的大脑看起来显然比计算器更接近语言/统计系统。然而人类却能够精准吸收事实性声明——还是说，你暗示的其实是宣传（Propaganda）与洗脑营销的运作本质？只要重复的声量足够大，真相并不重要？
汤姆·格里菲斯： 非常深刻！实际上，我准备提出一个可能引发争议的论断：我认为我们现有的技术组件，距离构建出媲美人类认知的系统并不遥远。 我们并不需要某种颠覆性的全新物理技术来解释人类的高阶能力。
核心差异在于归纳偏置（Inductive bias）——即人类大脑在几百万年演化中找到的解法，与大语言模型在预测文本中找到的解法完全不同。此外，人类的具身数据输入与语言模型的文本流输入有着天壤之别。人类在社会化情境中学习语言，有互动、有视觉注视、有物理反馈；而语言模型学习语言，就像坐在遥远外行星上接收一段微弱的无线电信号，试图纯粹从信号本身解密出下一个字节。
因此，我不认为底层核心技术存在无法逾越的鸿沟。目前人们采用的解决方案主要有两类：
- 基座模型 + 工具辅助（Tools）：当语言模型需要做确定性数学计算时，给它外挂一个计算器——把逻辑交给逻辑工具。
- 复合认知架构（Cognitive Architectures）：基座模型负责根据概率生成候选文本，再由另一个专门的模块去审视该输出并评估“这究竟是真是假”。
通过这种工具和架构的增强，我们可以极大地放大语言模型的原生威力。
因此，只要我们以正确的方式组合现有的技术组件，造出“像人类一样思考”的系统并不遥远。但如果我们想创造出完全值得信赖的 AI 系统，那还有很长的路要走——因为我们最终期望 AI 不仅要像我们一样好，更要在数学、逻辑和指令遵循上远远超越人类脆弱且充满偏见的狭隘心灵。
53:16 - 53:43
主持人： 太精彩了。由于时间原因，今天的研讨会到此结束。再次感谢所有的提问，也深表感谢汤姆·格里菲斯教授抽出宝贵时间为我们带来这场思想盛宴！
汤姆·格里菲斯： 非常感谢大家的邀请！
主持人： 大家再见！
🔗 原文链接
https://thetranscriptdesk.substack.com/p/tom-griffiths-mapping-the-jagged