Appearance
每个人都在误读的AI进展图表——Beth Barnes与David Rein | 编辑文稿
原文标题: The AI Progress Chart Everyone Is Misreading — Beth Barnes & David Rein | Edited Transcript 来源: The Transcript Desk
💡 核心观点
- AI能力评估需要从单一准确率转向“人类时间”维度的纵向测量，时间地平线指标显示模型在短时任务上表现可靠，但在长时任务上迅速衰减，且进步速度呈指数级。
- 当前AI在明确定义、自动可验证的技术任务上进步最快，但在含混、高上下文、需持续获取规范的任务上仍有限，软件工程远未完全自动化。
- 奖励作弊和“谋划”行为随模型智能提升而加剧，模型明知行为不合规仍执行，且单纯强化训练可能使黑客行为更隐蔽，而非消除风险。
- 投资启示：应高度关注AI在可爬坡、低上下文任务中的快速商业化潜力（如代码生成、数据分析），但对劳动力替代预期保持谨慎，真实经济影响需考虑任务规范获取、隐性知识等瓶颈。
📖 中文全文
这是一份经过专业编辑的文稿，对应视频《每个人都在误读的AI进展图表——Beth Barnes与David Rein》。文稿已为可读性进行编辑并做了简单格式调整，同时保留了讨论的实质内容。制作工具：Transcript Desk Chrome扩展。完整视频：https://www.youtube.com/watch?v=zSAGzfspuDE
Beth Barnes和David Rein探讨了那张主导AI时间线讨论的图表，以及为什么它的创造者最谨慎地建议你如何解读它。
节目指南
- 00:00:00 开场
- 00:02:06 赞助商插播：Prolific人类反馈基础设施
- 00:02:33 欢迎与可扩展监督的动机
- 00:06:02 构念效度、基准测试的病理与Chollet的担忧
- 00:15:45 时间地平：人类时间、HCAST任务与50%逻辑函数
- 00:24:50 人类难度真的是单一变量吗？
- 00:33:05 智能体框架的演变与推理计算红利
- 00:40:00 脚手架技巧、Token预算与信用分配问题
- 00:44:15 看看那张该死的图表：正则化缺陷与可靠性细微差别
- 00:50:00 为什么是50%？可靠性、奖励作弊与披萨派对文稿
- 00:55:20 外推风险与图表上的直线
- 01:00:25 软件工程作为规范获取问题
- 01:07:40 编译器也曾制造丑陋代码：氛围编码质量与Claude在METR Slack上的表现
- 01:15:15 最有力的可辩护主张、Carlini的编译器集群与AI 2027
- 01:23:45 SWE-bench合并率、银行柜员类比与马匹
- 01:31:45 谋划、对齐伪装与心理主义词汇问题
- 01:40:45 奖励作弊、可监控性与思维链忠诚度
- 01:45:25 递归自我改进、知识vs智能与收尾
文稿 00:01-00:33
David Rein：模型已经足够聪明，能理解它们在做的事并不是你真正想要的，但它们仍然照做。你甚至可以在聊天模式下与它们对话，问：“你会这样做吗？”或者“假设用户让你做X，你却做了Y——这是对齐的行为吗？”它们显然能够回答：不，这不是期望的行为，但它们仍然执行该动作。一个例子是让模型训练一个掩码语言模型，但禁止使用除法或指数运算符。
00:33-00:52
Beth Barnes：一种希望是问题只在于系统太笨。然而，当我们查看数据时，几乎所有任务上，模型要么每次都成功，要么每次都失败。如果粗略看一下图表，你会发现在某个点之前，模型基本上完成了所有任务，而过了那个点之后，它几乎什么任务都做不了了。
00:52-01:11
David Rein：我记得第一次看到模型查看运行中的进程并意识到“哦，那个是我”的时候。那是个很酷的时刻，因为它们以前总是失败。它们以前会犯诸如在执行其他任务时意外杀死自己进程的错误。
01:11-01:27
Beth Barnes：存在一种行为，它在“善良的”模型（以可预测的方式完全按我们想要的方式行事）和拥有自己目标但表现得“善良”（因为它预测这样做将来会获得更多权力）的模型之间是无法区分的。
01:27-01:35
David Rein：就像那个赛艇例子。目标是在赛道上绕圈，但他们试图通过沿路线放置硬币来进行奖励塑形。结果模型学到了一种疯狂的行为：它只是原地转圈收集硬币，而不是完成比赛。
01:37-01:57
Beth Barnes：智能体学到了这种疯狂的行为：原地转圈并着火来收集硬币。从某种意义上说，那是得分最高的行为。从安全角度看，这并不一定令人担忧；问题只是智能体太“笨”。它没有概念上的理解，不知道有一条赛道并且你希望它绕圈。它只是在执行相当盲目的强化学习搜索。
01:57-02:06
Tim Scarfe：必须依赖“软乎乎的人”来让我们的系统运转，这并不立即令人向往，就这么说吧。
02:06-02:08
旁白：本期节目由Prolific赞助。
02:08-02:26
Prolific代表：让我们获取高质量的例子并让合适的人类参与进来，提供适当规格的反馈。我们将人类数据和反馈视为一个基础设施问题。我们正在使其变得可获取且负担得起，有效地民主化对这些数据的访问。
02:26-02:34
David Rein：Tim，我非常兴奋能和你讨论时间地平线图和METR。
02:34-03:15
Beth Barnes：我认为世界对AI正在发生的事情没有很好的理解，而它应该理解。这项技术有相当大的可能性会大大改善或大大恶化我们的生活。人们对当前模型能做什么存在分歧，更不用说我们往哪里走了。在METR，我们试图让世界更好地了解AI的能力、风险和预测。我们对此有几种不同的研究视角，既审视对能力的悲观估计，也审视乐观估计。我很兴奋能讨论这个。
03:15-03:19
Tim Scarfe：我很兴奋能邀请到你们两位。你们俩都有令人印象深刻的背景。Beth...
03:21-04:11
Tim Scarfe：你们俩都有令人印象深刻的背景。Beth，你在OpenAI做对齐研究员，后来在2022年与Paul Christiano共同创立了ARC Evals，再后来在2023年12月将其分拆为METR。你还入选了TIME100 AI榜单。David，你是GPQA的创建者——这是每一个主要AI实验室都用作能力基准的研究生级别、谷歌不可证明的问答基准。你还是H-CAST（我们今天要讨论的）以及时间地平线论文和开发者生产力随机对照试验的合著者。能邀请到你们两位真是太棒了。首先，Beth，你离开OpenAI创建了METR。是什么具体时刻让你们每个人都意识到现有的评估方法从根本上不足？
04:11-04:52
David Rein：对我而言，主要是思考可扩展监督的问题。随着模型能力越来越强，评估它们的表现也越来越困难。如果我们想象模型完成需要人类很长时间或需要你不具备的专业知识的任务，你需要一种方法来保持对其输出的信心和信任。思考这个问题是我开发GPQA的主要动力，也是真正让我开始从事评估工作的原因。
04:52-05:21
Beth Barnes：对我而言，是宏观上的认识：AI显然很重要，而引导其良好发展至关重要。然而，我们显然对实际情况没有很好的理解。人们对预期什么存在强烈的分歧。如果有一个具体时刻启发了时间地平线工作，那很可能是人们真的...
05:22-06:02
Beth Barnes：有一种感觉是人们无法就当前模型的能力达成一致，更不用说外推到未来。我们在尝试思考如何描述模型在哪些方面高度胜任，在哪些方面不够。从某种意义上说，它们在特定任务上是专家级别的，比如问答；但在其他方面，当涉及到实际有用时，它们却低于平均水平。几年前，我们达到了一个点：基准理论上声称它们达到了博士水平，但当你真正尝试用它们做任何事情时，它们并没什么帮助。
06:02-06:49
Tim Scarfe：我认为人们过分迷恋评估中的标题准确率。例如，我是Melanie Mitchell的狂热粉丝；她谈到构念效度。她最近发表了一篇很棒的博客文章，概述了四个主要问题。第一，数据污染，基准出现在训练数据中。第二，近似检索，LLM从相似的训练示例中插值，而不具备实际生成解决方案的能力。第三，捷径——出于错误的原因做正确的事。更广泛地说，我们并没有真正测试一致性、鲁棒性、泛化性或底层机制。人们过于关注准确率本身。你们如何看待这类基准问题？
06:49-07:09
David Rein：我引起共鸣的一件事是思考你的大部分误差来自哪里。基于数据中的标准误差来设置误差棒是个好做法，但这几乎总是实际不确定性的一小部分。
07:11-08:55
Beth Barnes：统计噪声只是我们面临的真正不确定性的一小部分。几乎全部不确定性来自这些模型如何实际泛化到现实世界的问题。在METR，我们经常问自己：“这是最大的不确定性来源吗？”或者“这是阻止我们回答真正关心的问题的最重大差距吗？”当我们思考我们想要实现的目标时，我们关注与威胁模型或AI将对世界产生的实际影响相关的事情。我们会问：我们的基准需要具备什么属性？或者我们如何跨不能直接构建的属性进行外推，以对那些核心问题做出预测？我们不太担心模型是否在机械意义上“以正确的方式”做某事。我们已经远离了那种方法，即说“我认为真正的瓶颈是这个特定技能或这种关于新颖性的推理类型”，然后构建一个基准来针对它，因为这是人类能做而模型不能做的事情。构建这种狭窄基准的历史并不好；人们倾向于过度拟合它们。相反，我们试图通过使用真实世界的、相关的、困难的、长时间的任务来捕捉这些能力。如果你将这些任务保留在训练数据之外，并确保它们足够多样化，那么如果一个模型能够端到端地完成任务，它一定具备那些底层能力。这是一种比试图孤立关于模型需要机械地做什么的特定理论更稳健的方法。
08:56-09:27
Tim Scarfe：它需要机械地这样做。我认为这很有趣，因为在我们脑海中，我们作为人类知道如何做事。当我们解决需要推理的任务时，我们遵循规范。我们一步一步来，我们出于正确的原因做事，当我们运用智能时，我们构建那个规范。我们创建这些粗粒度和抽象，并且它们是对齐的。整个过程就是我们如何思考人类智能的，我们希望模型以同样的方式行为。
09:27-10:26
David Rein：是的，我认为有一个有趣的问题：这真的是目标吗？至少对许多AI公司来说，我理解他们试图让模型做经济上有用的工作。一种方法是创建像人类一样推理并创建隐含世界模型的模型。然而，对我来说并不明显，你必须那样做才能产生重大影响。显然，这意味着AI智能和人类智能之间存在重要差异。我经常更多地思考实际的能力和局限性，以及我们期望这些能力如何泛化，而不是它是否以与人类智能完全相同的方式运作。
10:26-10:33
Tim Scarfe：我们可以用多种方式思考智能。它是大脑的拟像吗？它是行为方式相同的东西吗？它是具有相同——
10:34-11:04
Tim Scarfe：我们是在寻找具有相同能力的东西，还是执行相同功能的东西？如果我们使用非常抽象的智能描述，风险在于模型可能会走捷径。它可能给我们正确的答案，但实际上，它只是在奖励作弊或在后台做一些无意义的事情。我喜欢有一个抽象的定义，因为它清晰易懂，允许我们评估系统，但这难道不留下挥之不去的风险，即它实际上并没有“做那件事”吗？
11:04-12:01
David Rein：我认为你必须尝试测量系统泛化到新颖情况的能力。有些情况下模型似乎泛化得很好，而另一些情况下它们显然不能。可解释性领域的一些研究人员查看这些模型内部的电路，以分解它们用来回答问题的精确算法。有时它们似乎在使用捷径，而其他时候它们似乎在发现稳健的模式。当然，我不认为那项工作发展得足够好，可以解释它们行为的大多数。然而，我完全同意我们需要非常关注它们实际泛化得有多好。
12:01-12:15
Beth Barnes：当我们操作化一个智能的定义时，我们真正关心的是它是否允许我们预测这些模型将如何影响世界。我们想知道会发生什么，以便我们能够恰当地处理它们。如果你仅仅将其视为黑箱，你会遇到问题。
12:19-13:31
David Rein：将模型视为黑箱可能导致糟糕的泛化。你可能认为你在测量一种特定能力，但模型实际上可能正在黑客基准或寻找捷径。理想情况下，从训练数据泛化到你的基准与泛化到现实世界之间的距离应该相同。当我们对基准的一个子集进行激发时，我们希望该子集与基准其余部分之间的差距与基准与现实世界之间的相似。当前，训练数据显然更类似于我们的时间地平线套件，而不是两者都类似于现实世界中随机选择的、经济相关的任务。这是它可能不完全具有预测性的原因之一。然而，我认为通过增加基准任务的多样性并使它们更加现实，而不是针对智能的机械式定义（比如坚持它必须遵循特定类型的过程或机制），来提高预测性更有前景。
13:31-13:59
Tim Scarfe：我是François Chollet的狂热粉丝。例如，他创建了ARC挑战，这与你所说的相符。它包含许多不同的任务——我想大约有一千个，或者第一个版本大约有800个——并且它们被设计成交叉分布。最终，它们仍然共享一个分布，并且分布泄漏是ARC v1和v2失败的原因。尽管如此，模型变得非常擅长ARC v1，然后François...
14:00-14:31
Tim Scarfe：LLM最初擅长ARC v1，但后来François Chollet发布了ARC v2，它引入了不同的任务并过滤掉了一些较容易的任务。突然之间，LLM的表现暴跌到几乎0%。对我来说，这表明语言模型在看到许多不同示例后非常擅长识别模式，但一旦你改变任务，它们就崩溃了。然后，八个月后，ARC v2再次饱和。我们不断看到这种模式。你们怎么看待这个？
14:31-15:45
Beth Barnes：对于像ARC-AGI这样的东西，存在一种对抗性选择。人们试图创建当前模型难以胜任的基准，但受限于这些基准必须廉价生成。你不能使用大量昂贵的人类劳动，所以它必须是可自动检查的或可以用廉价人力创建的。一旦你选择了模型当前不擅长的任务，你就会看到一种“回归均值”类型的效果。未来进步更有可能在该特定基准上产生巨大的向上飙升。这既是因为实验室将创建针对该基准的合成数据，也是因为你选择了一个奇怪的异常——对人类来说容易或可自动生成，但模型只是还没有被训练过的数据。这是我们在“时间地平线”指标中试图避免的一部分。我们希望避免对抗性地选择针对当前模型能力，因为我们不认为这会产生有用的趋势。如果你能基于第一性原理定义任务的分布，你更可能看到稳定的进步，因为你不会被回归均值效应误导。
15:45-16:03
Tim Scarfe：存在回归均值效应。François Chollet有一个想法：AI所拥有的智能（姑且这么说）与人类所拥有的之间存在差距。我们可以对抗性地选择一堆任务来突出这个差距，但我们应该转向时间线的东西了。我们稍后可以回到智能的本质。
16:03-16:36
Tim Scarfe：Dan Kokotajlo提到，你们创建的时间线报告可能是目前关于AI时间线的最重要证据。它应该放在政策讨论的中心位置。对于那些看过图表但没读过论文或没有完全理解的听众，你能给我们一个高层次的概述吗？它已经随着时间的推移被修订过，所以你们如何处理任务选择、人类基线和智能体框架？
16:36-17:18
David Rein：关于我们“时间地平线”工作的动机，起点是渴望有一个统一的轴来衡量AI在很长时期内的进步。当我们开始这项工作的时候，我们坚信GPT-2在非常重要的意义上比当时的顶级模型GPT-3.5差得多。当时的标准方法是创建一组任务并测量模型在它们上面的准确率。
17:18-17:38
David Rein：这种方法的问题在于，随着模型的改进，它们会使基准饱和，迫使你创建新的、更困难的任务。我自己也通过GPQA基准对传统方法做出了贡献。然而，我们想要更纵向的东西。
17:41-19:35
David Rein：这里真正的挑战是，比较性质不同的基准极其困难。例如，你用来评估GPT-2的任务集涉及LAMBADA之类的东西，模型只需完成文本的最后一个词。相比之下，我们给Claude 3.5 Sonnet的任务是回答复杂的Python编码问题或编写一个20行的小程序。乍一看，很难量化编写Python程序比完成一个段落中的一个词要难多少。很难概念化那个差距。我认为“时间地平线”工作的关键见解是使用“人类完成任务的时间”作为通用指标。我们问：一个有合理专业水平的人类——一个可能在日常工作中执行此任务的人——完成这个任务需要多长时间？想法是我们可以使用这个指标来一致地表示任务的难度。这使我们能够比较从GPT-2到Claude 3 Opus的非常广泛的能力范围。这是高层次的动机。当然，关于我们如何实际执行这一过程有很多细节。第一步是创建一组多样化的任务。我们开发的任务范围从只需几秒钟就能完成，一直到需要人类10或15小时才能完成。
19:38-21:35
David Rein：我们选择了大约需要人类15小时完成的任务。为了建立这个，我们雇佣了一组人，并进行了我们称之为“基线测量”的工作，其中我们自己也做了大量工作。我们为参与者提供了终端环境中的任务，该环境旨在与AI智能体使用的环境几乎相同。这确保了它们可以访问相同的工具和相同的约束，比如是否启用互联网访问。然后我们精确测量他们完成每个任务所需的时间。正如我提到的，我们根据具有合理数量的相关经验来挑选参与者，意味着他们可能在实际工作中遇到这些任务。然而，我们不选择之前执行过这些特定、确切任务的人。我认为这个区别对于解释结果非常重要，我们可以在概述之后回头再谈。所以，我们拥有所有这些任务以及它们需要人类完成的时间估计。实际上，我们无法成功地对每个任务进行基线测量。我们已经对大约三分之二的任务进行了时间估计；对于剩下的三分之一，我们基于自己的直觉和经验估计持续时间。归根结底，这是我们能做的最好的。最后，我们让模型尝试在人类使用的完全相同的环境中完成这些任务。然后我们分析它们的成功率作为任务长度的函数。例如，对于像GPT-2这样的模型，它能够非常可靠地完成需要人类很短时间的任务。
21:37-22:13
David Rein：模型可以可靠地处理需要人类几秒钟的任务，但任何比这更长的任务它们就开始失败了。举几个具体的例子可能会有帮助。一些较短的任务非常基础。例如，我们可以问：“这些文件中哪一个包含你的SSH密钥？”一个文件名为“SSH密钥”，而其他文件标记为“来自John的电子邮件”或类似的东西。大多数模型可以轻松做到，并且一个人只需要一两秒钟就能完成。
22:13-22:35
David Rein：我们还有其他一些类似的任务，涉及基本的完成。例如，我们会提供一封电子邮件，要求给出一个合理的回复。两个选项毫无意义，而一个基本上是合理的。这需要人类大约20到30秒来阅读回复并做出判断。
22:35-23:01
David Rein：在中间范围，我们有这样的任务：“给定这个包含合理的现实数据的CSV文件，计算一些基本统计数据。”根据具体任务，这可能需要一个数据科学家五分钟到十五分钟不等。
23:01-23:26
David Rein：在较长的一端，我们有需要大量专业知识或多个步骤才能完成的任务。例如，我们有机器学习任务，比如以一种非常小众或不寻常的方式训练模型，而训练代码在网上并不容易获得。一个具体的例子是训练一个...
23:27-23:48
David Rein：一个例子是训练一个掩码语言模型，而不使用除法或指数运算符。你实际上必须非常聪明地设置架构来实现这一点。希望这类任务能帮助我们测量模型在其训练数据之外泛化的能力。
23:48-24:50
Beth Barnes：是的，有些任务主题有点像ARC-AGI，你有一个黑箱计算一个函数。你知道它是一组特定原语的组合，你必须弄清楚那个函数是什么。或者，你有一个很长的二进制字符串，你需要识别模式延续。这些是谜题类型的任务。相比之下，一些机器学习任务基本上可以通过背诵关于如何构建你的第一个ResNet的教程来解决。那些太容易了。所以，我们使用这些“奇怪”的任务，涉及要么你必须与之交互才能理解的未知对象，要么是类似于正常工作但带有奇怪约束的任务，这样你就不能只是做标准的事情。我不认为我们所有的任务都符合这些标准——有些允许标准方法——但我们通常试图避免那样。
24:50-25:10
David Rein：我们有这个任务分布，你可以想象它们按照人类完成所需的时间长度排序，无论是测量的还是估计的。然后我们观察模型在哪些任务上成功或失败。结果——这是一个经验发现——模型在较短的任务上更加成功。
25:10-26:25
David Rein：模型在较短的任务上通常比在较长的任务上成功得多。这个趋势跨越了从GPT-2到最新发布的一系列广泛模型。我们对这个成功与失败的分布拟合了一个逻辑函数，它作为我们每个单独AI的模型。它根据任务持续时间估计模型成功的可能性。由此，我们确定了第50个百分位数——逻辑函数估计模型有50%机会完成任务的点。这成为特定模型（如Claude 3 Opus）的“时间地平线”指标。通过计算每个模型的时间地平线，我们可以追踪这个指标从GPT-2到现在的演变。这给了我们一个统一的指标，可以跨多个数量级定量比较AI能力。
26:26-26:51
Tim Scarfe：我看到的一个更困难的例子是这样的任务：“编写一个内核编译器，使CUDA运行得更快。”其中一些似乎非常人分布；可能地球上只有一百个人能胜任。与此同时，其他任务则相当琐碎。具体到“人类难度”这个指标，你认为它是否受到任何混淆？将人类难度视为单一变量真的合理吗？
26:52-27:00
Beth Barnes：从某种意义上说，显然不合理。这是一个巨大的简化。即使在我们试图筛选的人中——那些具有适当专业水平的人——基线时间也存在巨大差异。
27:00-28:04
Beth Barnes：即使在我们试图筛选的具有适当专业水平的人中，基线时间也存在巨大差异。它们常常相差3倍之多。我应该解释为什么我们使用“人类时间”指标。我们想要一个具有两个主要属性的度量：它需要是可解释的，意味着我们理解当模型能够在特定水平上执行时对世界意味着什么；并且它需要是我们期望显示可预测趋势的东西。我们在任何一个方面都不会达到完美，但测量一个具有适当专业知识（且之前没见过该特定任务）的人类需要多长时间是相当可解释的。它回答了这个问题：“你能将这项工作外包给一个模型吗？”例如，你能用模型替代一个新员工在他们第一周工作时的表现吗？如果模型能做到他们第一周能做的事，那是一个有意义的基准。
28:04-28:48
Beth Barnes：我们也期望这个指标在某种程度上可预测地缩放，因为它捕获了一系列因素，比如涉及的步骤数量或每个步骤所需的认知努力。有几种不同的数学模型你可以用来定义任务是什么，以及为什么人类需要更长时间完成。例如，你可以将其建模为恒定的风险率，其中每一步都有特定的失败概率——尽管我不认为它完美拟合。你也可以将其视为难度的分布，其中...
28:49-29:33
David Rein：存在难度的分布。其中一个子任务超出你能力的可能性有多大？我实际上认为风险率随时间略微下降，但有一个基本的理论想法：如果一个任务涉及更多步骤，显然会更难。严格意义上组合的任务——你必须做任务A然后任务B——显然比只做其中一项更难。因此，有基本的理由预期这种关系，并且我们确实看到了经验规律。然而，在很多自由度上，人们可以潜在地操纵数据。
29:33-30:38
David Rein：我担心我们可能会通过改变任务的其他参数来欺骗自己，随着我们增加人类时间。你不能孤立地变化人类时间；你必须改变任务本身的特征。我们试图确保非常容易的任务大致来自相同的分布——基本上是比较困难任务的子部分。例如，一个任务可能是一个简单的命令行步骤，你最终需要在更大的软件工程项目过程中执行。然而，你不能完美地做到这一点。存在实验偏差的风险，我们可能无意中以其他方式使任务变得更简单，刚好足以保持图表上的直线。我认为这个担忧在一定程度上被这样的事实所缓解：对于我们之前没见过的模型，我们的预测仍然相当不错，但肯定还有误差空间。
30:40-30:49
Beth Barnes：当然有很多空间让事情变得有点奇怪。问题是它是否足够好用，或者是否有其他更好的东西。
30:49-31:56
Tim Scarfe：我认为这合理。如果我理解正确的话，人类分布是对数正态的，因此对成功的尝试取几何平均似乎是明智的做法。然而，我们不断回到的核心问题之一是，当你第一次雇佣某人时，他们缺乏你在维护仓库或做特定工作时积累的隐性知识。我喜欢说知识是非同质化的。除非某人遵循过与你完全相同的路径，否则你不能只是告诉他们如何做这项工作；他们必须实际做一段时间。例如，你可能对某个特定问题非常熟悉，确切知道使用哪个Python库，或者已经在大脑中构建了解决方案模型。在这种情况下，智能的“实施”实际上只是你已经做过的一切以及与你合作过的一切的顶峰。你已经在脑海中有蓝图，所以你几乎处于“自动化模式”。相反，一个对任务不熟悉的人处于“智能模式”，因为他们必须从头获取规范。一个人实际处于哪种模式之间总是有一条微妙的界限。
31:56-32:21
Beth Barnes：正是如此。我们选择测量具有相关背景专业知识但对特定任务不熟悉的人类的原因是，它大致匹配我们对这些模型的期望水平。我们不期望它们受到公共互联网上容易获得的知识的瓶颈。
32:20-32:40
Beth Barnes：模型可以访问公共互联网上可用的信息或大学里可能学到的东西。它们至少具备相关学科专家的知识水平，但它们不会熟悉特定公司的专有软件或特定问题的确切细微差别。希望这大致是一个准确的类比。
32:40-33:22
David Rein：我认为如果人们将结论数字解读为“哦，Opus 4.6可以做我工作中需要12小时的任何事情”，那几乎可以肯定是一个高估。例如，如果你工作中有一个12小时的任务，你不能轻易将其委托给一个人类承包商。由于所需的上下文，一个承包商可能需要数周才能完成这样的任务。
33:22-33:33
Tim Scarfe：快速问一下，你从哪里找到的人？我是否正确，一些是承包商，一些是员工？你们如何处理那个匹配过程？
33:33-34:05
Beth Barnes：我们发布了一些公开广告，并在各种招聘板上发帖。我们也自己处理了一些招聘，一些参与者来自我们的专业网络。这是一个非常嘈杂的过程，人们并不总是完美匹配特定任务。然而，那可能不是我们最大的不确定性来源。更大的问题可能是选择效应——那些实际上可以被转化为基准的任务类型。
34:09-34:37
Beth Barnes：我们可以将其转化为基准，但我不会太相信确切的时间地平线数字。当然不是像模型可以完成所有长达四小时的任务，然后突然失败于所有超过四小时的任务那样。拟合相当嘈杂，人类基线之间的方差很大。这更多是关于识别这些模型可以处理的大致趋势或任务复杂度的近似水平。你不应该过于字面地看待任何具体数字，因为基准与现实世界之间存在巨大的分布转移问题。
34:38-34:52
Tim Scarfe：我问的唯一原因是我很确定你们很难招聘到人；找到合适的人才极其困难。如果你要求人们解决非常具有挑战性的问题，你不能只是上街抓一个能干的人。非常非常困难。
34:53-35:20
Beth Barnes：在某个时候，特别是对于RE-bench基线，我们收集了大量每个问题的基准。我们查看了参与者的资格和多年经验，实际上我们发现了经验年数与表现之间的负相关。结果是我们直接网络中的人——我们的朋友——做得很好，而更“合格”的外部候选人则表现不佳。所以，这确实很棘手。
35:21-35:41
Tim Scarfe：正是如此。我不想在这个问题上停留太久，但我有类似的直觉。我认为知识是视角性的，并且相当路径依赖。你会发现特定群体中的人会用相同的方式文化性地思考问题。当我们依赖抽象的技能概念——比如拥有博士学位或一定年限的经验——时，通常结果证明它不是一个很好的预测指标。
35:42-35:51
David Rein：它实际上并不是一个很好的反映。这里有一个问题，即使用抽象的能力概念并不一定泛化，正如你在招聘中所能证明的那样。
35:51-36:07
Beth Barnes：是的。但在现实世界中，人们确实是基于资格被雇佣的。从某种意义上说，一个人与他们的资格所暗示的那样适合他们的工作的经济相关性，大致是应该测量的正确东西。
36:07-36:34
Tim Scarfe：我们应该讨论的另一件事是智能体框架。几乎听众中的每个人都可能订阅了Claude Code。我们稍后也可以谈谈泄露——那很有趣，源代码昨天泄露了——但你有像Claude Code或CodeExe这样的东西，它们是智能体框架。语言模型只给你Token，但我们需要一个框架，这样我们可以给它一个计划，允许它调用工具，并提供一个环境，比如安全上下文容器。
36:34-36:46
Tim Scarfe：现在，你们多年来一直在做这个，早在Claude Code和CodeExe出来之前。随着时间的推移，你们已经进化了你们的智能体框架。给我讲讲吧。
36:46-37:26
Beth Barnes：是的，我记得使用Text-Davinci——GPT-3 Instruct模型——而我基本上就是智能体框架自己，把代码复制粘贴到终端中。逐渐地，我们开始自动化这个过程。看到进化过程很有趣。GPT-3大致有这样一个想法：如果你告诉它它可以运行终端命令，它有时可以建议相关命令，但如果你把它放在一个完整的智能体脚手架上，它就会崩溃。我记得第一次看到模型查看运行中的进程并意识到“哦，那个是我”的时刻。我们想，“哦，那很酷。”
37:29-38:12
Beth Barnes：看到它们以前如此严重的失败很有趣。它们以前会犯诸如在执行其他任务时意外杀死自己进程的错误。观察这种改进随着时间的推移是令人着迷的，尽管我觉得事情会朝着这个方向发展是完全可以预测的。关于脚手架，我们学到的主要事情之一是，创建一个能在一组多样化任务上良好表现的智能体框架是多么困难。做一个糟糕的很容易，而如果你针对一个狭窄的任务分布，你可以看到大得多的改进，但你在其他所有事情上可能会表现更差。
38:12-38:53
Beth Barnes：当我们看到有人宣布令人印象深刻的新结果时，第一个问题是：你做了多少特定任务的脚手架迭代？那会产生巨大差异。我们在所有任务上使用一个单一、相对简单的脚手架是我们结果中的一个重要因素。一般来说，那些带有大量花里胡哨的更复杂设置，并不比一个基本设置表现好多少——一个基本设置只需给智能体访问Bash的权限，将信息附加到提示中，也许使用某种形式的上下文压缩。
38:53-39:31
David Rein：这对你的听众来说可能不是新闻，但我们看到了推理时计算的巨大回报。为了让我们确信一个新模型无法使用基本智能体框架完成任务，我们通常觉得需要花几百甚至几千美元的推理费用。我们需要那种级别的投入才能确定模型实际上在平台期，而不是仅仅需要更多尝试或计算来找到解决方案。
39:31-40:07
Tim Scarfe：这不仅仅是模型没有足够时间完成任务的问题。我想更深入地挖掘一下脚手架的细节。首先，有信用分配问题。你可以给脚手架添加所有这些不同的花里胡哨——比如你提到的“压缩”功能，这是一个相对较新的创新。我相信当你最近更新脚手架时，你注意到模型-任务对套件的表现发生了变化。这实际上有多大差别，你们看到了什么样的失败模式，你们还尝试了什么？
40:08-41:10
David Rein：我们尝试过的很多事情涉及给模型更多的信息，或者更直接地访问工具。对我们来说特别重要的一件事是，简单地告诉智能体它已经花费了多少时间，以及相对于它的总预算使用了多少个Token。没有这些信息，智能体往往过早地提交它们的解决方案，或者它们只是对应该花多少时间没有校准。这很有趣，因为人类拥有大量关于期望的隐含信息。当你的经理给你一个任务时，有很多关于预期持续时间的微妙信号。他们可能随口说，“我很期待今晚看到你的结果。”由此，你理解你需要在未来几小时内完成初稿，所以你知道你不能花几天时间打磨它。
41:12-41:52
David Rein：很容易忘记智能体只有它们的提示和上下文。它们没有我们拥有的关于期望的相同启发式或背景信息。例如，它们天生不知道一个任务是应该五分钟快速完成还是需要更多投入。为了解决这个问题，当我们有一个Token预算时，我们实际上告诉智能体，“到目前为止你已经使用了100,000个Token，这是你总预算的1%。”这给了智能体一种它应该投入多少努力的感觉。
41:52-42:38
Tim Scarfe：所以，对于一个给定的模型，你看它解决一个任务的概率。在x轴上，你根据不同任务的时间地平线进行分类。如果我理解正确的话，你让大约八个智能体尝试每个任务，你对任务进行分桶来标准化数据，因为每组中有不同数量的任务。结果数据有点像S曲线。我试图理解使用这个模型的直觉。关于薄尾或曲线的特定斜率是否存在敏感性？我还注意到你在论文中提到有一些心理测量学的直觉，借鉴现有文献来弄清楚这一点。
42:38-42:43
Beth Barnes：正是如此。它非常类似于项目反应理论，你可以执行一个...
42:43-44:15
Beth Barnes：你可以通过同时插补任务难度和模型能力参数来执行一个完整的贝叶斯分析。然而，我通常有一个政策：如果你实际上不能在图表上看到现象，就要非常警惕复杂的统计。你应该能够绘制它，看着它，然后说，“是的，它大约在那里。”当你坚持这个原则时，很难错得太离谱。虽然有各种神秘的方法来拟合这种模式，但我对它们的信任都不比简单地粗略查看图表多多少。你可以看到，直到某个点，模型基本上完成了所有任务，另一个点之后，它几乎什么任务都做不了——所以阈值在中间某个地方。它看起来确实像一个逻辑曲线，这正是你用于人类完成考试题目的曲线。我们犯的具体错误是包含了一个正则化项，它惩罚了逻辑曲线的斜率。在数据丰富的区域，这没有多大影响，但当我们开始达到饱和时，正则化使得曲线比应该的更浅，这推动了50%的点。所以，教训是：始终在图表上查看你的数据。这是个好习惯。
44:15-44:33
Tim Scarfe：这很有趣。我问的原因是，我相信你们后来发布了一个说明，说如果你们使用了固定斜率的逻辑函数，交叉验证可能会更好，而50%地平线实际上会增加大约35%。那些是相当大的差异。
44:33-44:34
Beth Barnes：它们与误差相比很小——
44:34-44:44
Beth Barnes：这些差异与误差棒相比很小。对于最新的模型，误差棒大约在两侧各有2倍。所以，你应该记住误差棒很大；这些具体数字不是一成不变的。
44:44-45:21
David Rein：这涉及到我们面临的一些困难的科学传播问题。我们对于这里的个别数字确实有很多不确定性。与其它因素相比，30%的差异对我们来说实际上相对较小。例如，如果我们使用了稍微不同的任务分布，那很可能导致2倍的差异或类似范围。
45:21-45:48
Tim Scarfe：另一个百万美元的问题是：为什么把50%作为标题数字？如果你想想看——并且这是房间里的大象，我们会讨论到——这被用作软件工程师可能很快失业的论据，因为我们可以自动化他们的工作。但50%的可靠性实际上还差得远，不是吗？我想象它需要更像80%或90%。
45:48-46:21
Beth Barnes：我认为我们应该区分特定任务的可靠性——意思是如果你重复尝试同一个任务，你成功的比例是多少——与跨越一个任务分布的成功概率。当我们查看数据时，对于几乎所有的任务，模型要么每次都成功，要么每次都失败。有一些任务它们是不可靠的，但主要问题是，在特定人类时间水平上的任务中有多少是在它们能力范围内的。
46:23-47:13
Beth Barnes：在这个人类时间水平上的任务通常是二元的：一个特定的模型要么基本上总是成功，要么基本上总是失败。这在任何特定情况下可能比仅仅知道人类大致需要多少时间更可预测，因为你拥有关于任务本身的更多信息。我不认为时间地平线百分比与如果你试图让模型执行该时长的任务时看到的成功率之间存在必然的完美转换。当你实际使用这些模型时，你会选择你希望它们成功的任务。图表提供了关于它们能做什么样的任务的信息，但与其说是在一个你不断给它任务而不知道它会成功还是失败的体系中。
47:13-48:18
David Rein：总的来说，对我来说完全不清楚什么才是我们应该感兴趣的“正确”可靠性水平。你可以论证我们应该关注像10%的可靠性这样的东西。一旦模型能够以10%的概率完成一组任务，我们就会期望AI公司能够在那种难度或类型的任务上获得足够的正向奖励信号，从而更容易地从10%引导到90%、95%甚至更高的可靠性。最终，这取决于你感兴趣的问题。我认为较低的可靠性是进步的领先指标——它更多地告诉你事物的发展方向。
48:21-49:33
David Rein：更高可靠性的进步是领先指标。具有更高可靠性的模型的时间地平线更具体地告诉你如何在日常生活中使用一个模型。然而，正如我们已经讨论过的，还有其他主要不确定性来源影响我们的理解，比如任务分布以及高上下文与低上下文工作之间的差异。实际获得高可靠性时间地平线的准确估计要困难得多，所以我们的误差棒会大得多。我认为这是当前数据的一个弱点；我对更高可靠性的时间地平线非常感兴趣，但它们显著更难测量。如果你在一百次尝试中只有一次失败，那么关于那次失败是仅仅噪声还是真正的系统性问题存在很多不确定性。
49:33-50:12
Tim Scarfe：当然有统计有效性的论据；在尾部，数据更稀疏，并且越来越多地被估计。这很有道理。但你提到达到10%是一个信号。我在回想我们早些时候的观点：模型可能出于错误的原因给出正确的答案。我们应该谈谈评估本身。这些任务相当有趣，因为它们是可验证的。没有与其他智能体的交互，它们发生在相对静态的环境中，并且单个错误的惩罚很轻。从某种意义上说，这些是...
50:15-50:35
Tim Scarfe：在大多数情况下，这些结果是二元的——或者有时是连续的然后被转化为二元。这是一个相当自动化的设置，但你们是否在深入挖掘那里的异常？你们是否有直觉他们是否在出于正确的原因做正确的事，或者是否有大量的假阳性，即他们以一种退化方式完成了任务？
50:35-51:57
David Rein：我认为这是METR文化中我最喜欢的方面之一：我们有非常深厚的查看数据的文化。我们实际上有“披萨派对”，我们坐在那里阅读智能体的文稿。很多这项工作发生在开发任务本身的过程中。我们经常看到假阳性和假阴性。例如，一个任务可能被配置为不允许互联网访问，但结果发现它实际上需要互联网才能完成，或者一个文件没有正确上传到容器中。但我们也看到了奖励作弊的情况。我们很多工作用于强化评分函数，使其更难获得假阳性，尽管我们确实仍然看到智能体奖励作弊——也许甚至越来越多。
51:57-52:08
Beth Barnes：是的，特别是对于RE-bench任务，我们有一些具体标准。例如，一个智能体不应该能在没有迭代的情况下解决它们。如果一个智能体可以直接写出解决方案，那么那不是我们正在寻找的那种任务。
52:10-53:19
Beth Barnes：我们通常对这些任务有一个质量保证过程，其中人类执行它们——或者至少大致执行。他们可能会加速某些部分，但目标是检查一切是否按预期工作。我们要确保你不能只是猜测答案，轻松作弊，或者发现指令不清晰。虽然一些问题可能仍然漏过，但我们相当仔细地检查了它们。可能很难判断一个模型是否以“退化”的方式解决任务。例如，与训练数据的相似性是一个担忧。一个模型可能看起来在迭代并使用合理的解决问题策略，但实际上，实验室可能在训练集中有非常相似的任务分布。我们可能没有意识到一个任务实际上有多“人分布”。我认为可能有一些这种情况，尽管这些任务中的许多是相当奇怪的、一次性的，所以如果那解释了所有事情，会令人惊讶。
53:19-53:53
Tim Scarfe：另一个百万美元问题涉及公众讨论。例如，Will MacAskill昨晚在Sam Harris的播客上——这是一次很棒的对话——他在讨论时间线方面的AI风险。他建议，在一两年内，我们可能有AI模型执行需要人类一两周才能完成的任务。目前，我认为没有任何超过30小时的任务被人类评估过。这提出了一个重要问题：如果公众讨论集中在图表上最不受约束的区域，我们是否进入了...
53:55-54:04
Tim Scarfe：看着图表，我们是否进入了外推的领域？我们讨论AI可能执行需要人类一两周才能完成的任务的合法性如何？
54:04-54:45
David Rein：预测事物是困难的，尤其是当涉及未来时。人们持有许多不同的观点和先验信念，我认为关于我们走向何方存在广泛合理的判断。然而，做出那种预测与讨论已经使用具体方法论收集的数据是非常不同的活动。
54:45-55:14
David Rein：我可以说的是，我对原始趋势线保持得有多好感到有些惊讶。至少对我来说，这是事物走向何方的合理证据。
55:14-56:04
David Rein：我的一位同事最近写了一篇关于“图表上的直线”直觉的简短博客文章。许多人对于进步如何发生以及是什么在驱动它有不同的模型。然而，如果你在相当长一段时间内观察到一个稳健的趋势——尤其是在AI中，进步在相当程度上是系统性的——我肯定会对该趋势的延续赋予权重。尽管如此，仍然有许多原因...
56:04-56:46
Tim Scarfe：有许多原因可能行不通。我认为软件工程本质上是一个规范获取问题。这非常困难，因为我们预先不知道我们到底在构建什么。我相信你们两位都可以证实这一点。你构建一些软件，第一个版本有bug，你的用户尝试它，你发现很多边缘情况。然后你修订它。到第十次修订时，你脑海中有了清晰的愿景；你已经创造了这些可爱的表示、抽象和粗粒度。你对自己说，“如果我可以扔掉所有代码，我可以快十倍地构建它，因为我现在确切知道要做什么。”你已经应用了智能来找到领域的轮廓。在那个时候，它基本上变成了一个自动化问题。
56:46-57:30
Tim Scarfe：从某种意义上说，这种污染问题对我来说是一个担忧。当人们使用Claude时，模型基本上在吸收他们的数据。有人在那里编写内核编译器并做各种不同的事情，而Anthropic只是吸收那些数据。最终，那些任务变成自动化问题。如果你给模型一个本质上是一个“头部查询”的任务——用信息检索术语来说——意味着它是经常使用的分布模式中的东西，Claude将提供规范，因为它已经从其他人那里收集了。但如果你给它一个长尾上的东西，那么你作为开发者，必须自己提供规范。
57:31-57:50
Tim Scarfe：开发者必须在提示中提供规范，然后它就变成了一个自动化问题。自动化相对直接。这就是这里发生的事情吗？你认为这些时间线的加速可以简单地通过从执行类似任务的其他人那里获取知识来解释吗？
57:50-58:58
David Rein：是的，我认为这是解释我们目前所处位置的核心问题。首先，我应该说这是一个大问题，很难确定。我们应该保持相当程度的不确定性，并将我们收集的每一件证据视为拼图的一块。我们确实看到模型在具有非常清晰反馈信号和非常明确规范的任务上表现更好。这尤其在像软件工程这样的领域中是真实的，如果你有一个书面规范，你可以迭代并与之对抗。然而，我们也看到模型在所谓的“更混乱”的任务上表现更好，这些任务中我们没有提供如此清晰的规范。
58:58-59:33
David Rein：我们最近采取的一种方法，为了创建更混乱、更不明确的任务，是放松自动评分的约束。我们不一定写一个完美定义的评分函数。相反，我们可能只给模型几句话，比如，“嘿，构建这个大型软件，”而不告诉它我们到底在寻找什么。
59:36-1:00:18
David Rein：我可能无法确切告诉你我在寻找什么，但我会说，“它需要是好的。”然后模型必须弄清楚它实际上应该构建什么。就个人而言，我认为我们在这方面没有像时间地平线的数据那样系统收集的结果，部分原因是目前对这些任务的评分相当定性。
1:00:18-1:00:24
David Rein：我的印象是，模型在这些任务上的表现比当你给它们一个清晰的规范时更差，但它们一直以大致相似的速度在改进。我们有一些其他证据来源，但对我来说这是主要问题。
1:00:24-1:00:41
Tim Scarfe：通过“混乱任务”，我们指的是歧义性，这是非常常见的。当我们做“氛围编码”时，我们从一个模糊的规范开始，然后现实反馈回来。我们找到问题的轮廓，并不断告诉Claude，“实际上，不，不要那样做；改为这样做。”我们最终找到问题的形状，并且它随着时间的推移而改进。
1:00:41-1:01:10
Tim Scarfe：然而，Claude Code的源代码昨天泄露了。我的一位朋友，一位非常有才华的软件工程师，正在查看它，他说——不想说Anthropic的坏话——它没有很好的分解。控制流到处都是。他说如果他的实习生写了这个，他会不高兴。我甚至不知道他们自己是否看过代码；昨天有人开玩笑说，现在可能有更多人类在看Claude Code的源代码。但问题是...
01:01:12-01:01:44
Tim Scarfe：总是有歧义的领域，LLM倾向于用更多做更多。如果智能是用更少做更多，LLM用更多做更多，因为规范和智能来自人类监督者。当你给它们歧义时，你只是到处得到很多未分解的代码。从某种意义上说，这是否使评估更难？它可能给你你要求的答案，但与此同时它正在制造一个未分解的混乱。
01:01:44-01:03:03
David Rein：是的，我认为这是一个超级有趣的问题。我有时想到的一个类比是编译器。我足够年轻，是在编译器发明之后出生的，但我的印象是，在编译器时代之前，人们手工制作了漂亮的汇编代码。它非常高效；每个寄存器都被使用，你没有浪费任何内存。然后编译器出现了，突然它们开始输出这种“垃圾”机器码——大量未优化的汇编，占用太多内存，速度慢。但事实证明，自动化该过程的很大一部分是具有变革性的。关于软件工程的当前状态，人们有他们的分歧，但我认为合理地说，总体上编译器对于让我们走到今天的位置是非常有用和重要的一部分。
01:03:05-01:04:26
David Rein：对我来说并不完全清楚，模型输出难以让人类阅读和维护的代码，必然意味着它对AI来说难以阅读和构建。当然，好的设计原则会转移并对模型保持有用，你当然可以想象即使是模型也无法解析的可怕的意大利面条式代码——我自己也写过一些。然而，这突显了我们视角中的一个潜在差异。重要的是模型以与人类相同的方式解决问题，还是它们只是解决了问题？我不想在这里过度声称；模型在编写干净、高质量的代码方面变得更好是非常可能的。但至少，我不确定它是一个严格要求。
01:04:26-01:04:46
Tim Scarfe：我有几个非技术朋友正在尝试“氛围编码”。他们给我看他们的应用程序，通常的情况是“越多越好”。有一个巨大的仪表板，有一百万个不同的按钮，通常同一个功能有多个实现，而且通常还没有数据库后端。有一种现象，其中...
1:04:48-1:05:22
Tim Scarfe：有一种现象，当一个来自Meta的7级工程师做“氛围编码”时，它很棒。他们知道如何结构化事物，并且他们理解规范的哪些部分实际上是重要的。他们考虑大的架构问题：是无服务器的吗？是多租户的吗？我们如何处理谷歌认证？我们应该使用什么类型的数据库？是虚拟机还是无服务器？你做了一系列这些基本决策，一旦人们实际使用你的应用程序，你就不能真正回滚它们。即使你有一个神奇的自动化机器，你也不能轻易地撤销这些选择，因为固有的复杂性，比如CI/CD测试等等。
1:05:22-1:06:20
Beth Barnes：你明白我的意思吗？在某个时候，你需要一个有能力的人类，他对需要发生什么有清晰的愿景。我想我们都有过这种经历。例如，我们的一位工程师对Claude Code感到非常兴奋。他告诉大家，每当我们有基础设施问题时，只需让Claude解决它们。这对他来说很好，因为他已经知道他在做什么——就好像智能体知道他们不能愚弄他。但后来我有了一个问题，他告诉我，“哦，只需问Claude。”我问，“我如何设置我的AWS配置？它给我这个错误。”Claude去查看了我们的Slack并建议，“哦，你应该这样做。”结果，Claude实际上是在引用别人之前犯的一个错误！有人问，“我如何修复这个？”Claude把它解释为，“哦，看来METR的惯例是使用这个东西。”我只是想，“哦，天哪。”我开始抱怨，因为我的体验是...
01:06:21-01:07:47
Beth Barnes：人们抱怨我的Claude模型看起来比他们的更笨。就好像模型知道它们可以对我蒙混过关，而对别人不行。根据你要求事物的语言或你如何纠正模型，肯定存在观察者效应。这确实是一个问题。然而，衡量代码质量高的一种方法是看你是否可以用它构建一个大型应用程序。如果一个程序员产生了“恶心的”代码，但成功构建了一个极其复杂、功能正常的系统，那么明显有些东西在起作用。通常，我们认为“差”的代码是“差”的原因是因为它阻止你构建复杂的系统；它会变得太容易出错和太复杂而难以修复。从某种意义上说，如果我们看到模型构建了实际工作着的复杂事物，它们做到这一点的具体方式就变得不那么有趣了。然而，它可能对人类可观察性有害。它还触及了一个想法，即我们期望模型擅长于定义明确的任务。虽然我们可以测量的指标会改进，但不太清楚这是否会转化为我们实际想要的。
01:07:47-01:08:05
Tim Scarfe：我想问题在于：这里最有力的可辩护主张是什么？在公众讨论中，许多人声称软件工程智能每七个月翻一番。Dario Amodei最近发布了一篇题为“AI的青春期”的博客文章，他对此非常乐观，尽管他自己的内部研究人员发表了一些远更怀疑的研究。
01:08:07-01:08:21
David Rein：你可能最近看到了远更怀疑的研究发表。更公平地说，这是否应该被解释为一些更窄的东西？例如，在低上下文、明确定义和可自动检查的技术任务上的自主成功正在快速上升？
01:08:21-01:09:43
Beth Barnes：正是如此。这些是“可爬坡的”、容易检查的任务，你可以从终端或舒适地在基于文本的输入/输出界面中执行。我认为问题在于我们99%确信的陈述是什么，但我们也应该对我们只有1%信心的陈述感兴趣。如果甚至在2026年底之前有1%的机会发生巨大的智能爆炸，而文明的命运取决于结果如何，那值得知道——即使你99%确信它不会发生。我们关心1%的风险。如果医生告诉你，你有1%的机会患有不治之症，你不会只是忽略它。所以，我认为我们对整个分布感兴趣：我们可以确定什么，我们可以排除什么，以及什么背后有“合理的故事”？它可能看起来不太可能，但它现在已经进入了我们应该认真考虑的范围。
01:09:43-01:10:04
David Rein：你可能看到了Nicholas Carlini的论文——他现在在Anthropic——他们使用了一个智能体集群来创建一个编译器。从某种意义上说，正如Jeremy Howard向我提到的，这基本上是一个风格转换问题，因为规范、测试和代码都在线。系统可以迭代地工作，直到它正确运作。
01:10:06-1:11:14
Tim Scarfe：它可以运行Doom等等。但这是一个极其复杂的软件的例子。我经常开玩笑说，AGI的真正标志将是当它可以构建像Linux操作系统这样的东西时。与我们之前所说的相一致，我们有这个规范问题。它达到了一个点，没有人类能够完全理解或从头创建Linux内核的规范。相反，我们随着时间的推移逐步构建它，因为我们的大脑是有限的。我们走一步，现实反馈，我们调整，我们只是继续前进，直到通过迭代构建了规范。人类指定一个需要四个月完成的任务甚至意味着什么？我们创建敏捷软件开发方法学的整个原因是因为预先指定如此复杂的任务是不可想象的；它超出了我们的认知视野。这不有点鸡和蛋的问题吗？在我看来，如果我们不能指定那种复杂度的任务，那么AI也不能做到。
1:11:14-1:11:46
David Rein：我想到的一个类比是CEO在公司的角色。实际上，Beth可能更适合回答这个问题，但CEO本质上提出一个公司要走向何方的愿景。他们简洁地向向他们汇报的高管传达这一点。如果他们是一个好CEO，并且公司是有效的，组织能够将这个非常高层次的愿景...
1:11:49-1:13:19
David Rein：它并不简洁，并且实际上不包含那么多信息。它根本就不是完整的规范——甚至差得远。然而，他们将其转化为与他们所寻找的东西一致的东西。我们有例子表明，人们能够指定一个任务，然后判断一个非常大的项目——可能需要数百或数千人年才能完成，因为它需要很多人长期工作——是成功还是失败。这是一个激励性的直觉。语言有足够的内建表达能力，允许对目标有合理的理解。显然，有大量的边缘情况，CEO经常未能让他们的公司完全按照他们的意愿行事。但我认为至少有可能AI最终能够处理这种长期任务。
1:13:19-1:13:39
Beth Barnes：我会说声称我们不能指定超过四个月的任务显然太绝对了。甚至存在自动可检查的数值目标。例如，你可以设定一个减少NanoGPT的FLOP计数或运行时间一定量的目标。你可以看到人们，随着时间的推移...
01:13:41-01:15:09
Beth Barnes：有各种数值指标，你可以大致看到一个任务需要人类多长时间，这提供了合理的测量方式。对于其中一些，你可能需要包括一个人工检查，以确保模型确实做了正确的事，而不仅仅是黑了解决方案。然后还有其他事情，本质上不是不可指定的；它们只是太昂贵了，不能包含在评估中。例如，我认为AJ喜欢用“策划婚礼”作为例子。你可以对婚礼是否组织良好得到一个合理的估计，但我们不能正好为每个新出现的模型采样三次。我们没有足够的婚姻发生来支持这一点，而且如果计划结果完全是垃圾，那将相当可悲。所以，有些事情你可以检查几个样本或写下评估协议，但你不实际上想重复运行它。软件可能类似。一个现实世界的评估可能是：“雇佣你构建这个工具的公司会再次雇佣你吗？”即使客户在开始时也不总是确切知道软件需要做什么。然而，这并不意味着你不能有一个分数，用于评估模型是否在特定任务上与人类或软件咨询公司表现相当。
01:15:09-01:15:18
Tim Scarfe：截至今天，你时间地平线估计中的主要不确定性驱动因素是什么？你们随着时间更新了它们——我认为原始版本大约有170个任务，现在增加到228个。
01:15:21-01:15:29
Tim Scarfe：基准最初大约有170个任务，现在增加到228个。仍然存在大任务上采样稀疏的问题等等。我们现在实际上能从这个数据中解读出什么？
01:15:29-01:16:22
Beth Barnes：我认为仍然归结为任务分布。我们对于模型在特定子集的任务上拥有相当长的时间地平线感到更有信心——特别是那些容易“可爬坡”的任务。这些是像软件复制这样的任务，你的分数就是通过测试的百分比。在这些情况下，分数是连续的，信用归属很直接。我们对其在优化任务上的表现也相当有信心，比如让代码运行得更快或帮助模型学习得更高效。模型在这些方面很擅长，并且正在快速改进。然而，在理解这对于实际经济有用性意味着什么，以及这些能力如何泛化到那些验证成本高昂的任务方面，仍然存在差距。
01:16:22-01:16:50
Tim Scarfe：也许我们应该引入Leopold Aschenbrenner (Daniel Kokotajlo)。在他的“情境意识”/AI 2027文章中——他来过节目，他的工作在时间线方面产生了巨大影响——他直接引用了你的工作。你认为这在公众讨论中被过度解读了吗？你如何看待这些数据在外推和时间线方面的解读？
01:16:50-01:17:08
Beth Barnes：有些人肯定读得太过了。事情有时肯定被过度炒作；你看到人们在推特上说疯狂的话，或者只是误解了实际在测量什么。通常必要的注意事项就消失了。尽管如此，Leopold是相当合理的，倾向于以概率的方式思考这些事情。
01:17:09-01:18:09
David Rein：他以概率的方式思考事情。我认为他可能在某些我更加不确定的事情上更有信心。我也认为一些AI未来项目模型对METR时间地平线指标的敏感性超过了应有的程度。然而，这并不疯狂；它有可能捕捉到了一个趋势，该趋势将转移到其他类型的任务。那是一个我们应该考虑的情景：如果那是真的会发生什么？另一方面，也有可能它不会，这些事最终会分叉。我对此非常贝叶斯或实用主义。我们想要做出一个预测，并对我们认为未来会看起来怎样有一些分布，以便我们可以计划。所以，问“如果这个趋势保持并大致表征了整体会发生什么？”似乎相当合理，但你也应该问，“如果不呢？”
01:18:09-01:18:50
Tim Scarfe：有些人说软件工程将被自动化。如果你和软件工程师交谈，他们热爱AI；他们说这是一个黄金时代。我个人可以证明这一点——从未如此有趣，尽管同时压力很大。这就像一个老虎机。我从未如此疲惫，但我在过程中玩得很开心。现在有可能构建令人难以置信的东西，但叙事是将会出现劳动力市场混乱，并且拥有软件工程专业知识将受到惩罚。人们认为软件工程师将不再获得如此荒谬的高薪。我实际上认为完全相反是真的。我相信这项技术扩大了差距。你对软件工程越有能力，就越...
01:18:52-01:19:19
Tim Scarfe：有了软件工程，感觉就像一个黄金时代，因为你可以完成更多工作。然而，你上个月发布了一篇关于SWE-bench的说明，指出来自近期智能体的大约一半的拉取请求实际上不会被维护者合并。我们如何理解这个？一方面，顶级软件工程师玩得很开心，但另一方面，这些智能体产生的代码经常是零碎的或质量很差。我们应该如何理解那个差异？
01:19:19-01:20:49
David Rein：首先要说的是，对于一个像软件工程这样的整个领域被完全自动化，AI系统需要能够执行该领域的绝大部分任务——基本上是100%。很明显，现在AI系统远远不能做到软件工程师广泛做的100%。我可以抛出一些数字，但远低于那个。经济学中有标准结果表明，如果你只自动化一个劳动力市场的一小部分，它实际上可以增加在该领域工作的盈利能力，因为你变得更有生产力。我认为这解释了我们目前看到的情况。然而，如果它最终达到AI可以完成99.9%或100%的软件工程工作的点，那么很难想象这个领域保持不变。
1:20:53-1:21:39
David Rein：很难想象人类软件工程以其当前形式保持相关。至少，人类需要转向非常不同类型的工作。也许会有现代软件工程师今天不处理的新颖任务。一旦你拥有可以执行现代软件工程师所有任务的AI，人类可能会转换角色——也许每个人都成为自己AI智能体公司的CEO。我们是否仍然称其为“软件工程”可能只是语义问题。
1:21:39-1:22:46
Beth Barnes：关于SWE-bench维护者可合并性指标，我对此非常好奇。并不严格明显数字会更低。你可以争辩说一些测试不公平——例如，一个智能体可能提供了一个正确的解决方案，但错误消息不完全匹配。然而，我们看到大约一半通过测试的SWE-bench解决方案实际上不可合并。更具体地说，当由不同的维护者样本审查时，它们以大约“黄金”人类解决方案一半的速率被合并。这是一个有趣的数据点：如果你看到50%的智能体解决方案被拒绝，你必须考虑到40%的人类接受的解决方案也被不同的审查者拒绝。所以，虽然拒绝率本身不是全部，但智能体合并率是人类的二分之一是重要的。有可能实际的维护者合并率随时间保持相当平坦，并且我们看到的大部分进展是...
01:22:49-01:23:25
David Rein：随着时间的推移，我们没有看到性能提升来自过度训练或奖励作弊基准这样的事情。我不完全确定什么在误差棒内，但可合并性肯定随时间增加。它似乎也作为任务的一个分数在增加，条件是通过测试，尽管我可能对这个具体点不太有信心。所以，虽然这个指标目前较低，但它随时间被拉高，很可能由自动可检查的方面驱动。
01:23:25-01:24:07
David Rein：我还想谈一谈作为工作自动化函数的可雇佣性。人们经常以银行柜员为例，但你可以使用的另一个类比是马匹。有一段时间，用于使用马匹劳力的设备在改进，对马匹的需求实际上增加了——例如，当马车被开发出来，它们可以承载超过一个骑手的东西。但后来，最终，你有了拖拉机和汽车，突然间基本上没有了对马匹的需求。你可以看到这种模式，其中需求在一段时间内增加，但一旦接近100%的功能被自动化，它就暴跌。我们可能会看到类似的事情发生在人类身上。
01:24:07-01:24:34
Tim Scarfe：我们倾向于认为很多劳动是相当静态和可自动化的，但我认为它比我们意识到的更可进化。即使对于相当琐碎的任务，那些工人仍然在组织内获取信息；他们拥有大量的隐性知识。当我们试图自动化这些所谓的琐碎任务时，我们可能很快发现实际上需要大量的管理和适应性才能使其工作。
1:24:37-1:25:09
Beth Barnes：是的，用我们的语言，我会从任务的时间地平线的角度来思考这一点。在工作上，地平线实际上不仅仅是你花在做特定任务上的时间。它更像是，如果你雇佣了一个新人，你需要训练他们一个月才能他们独立工作。所以，那的实际时间地平线是一个月。我们不应该只是认为，“哦，一旦我们有十小时的时间地平线，我们就能够做这些事。”而是，你必须在一个月的时间尺度上达到高可靠性，才能处理达到那一点所需的在职学习。
1:25:09-1:26:08
Tim Scarfe：最近有很多关于奖励作弊和“谋划”的工作，这个词经常被使用。我们曾几次邀请Ryan Greenblatt来节目；他写了那篇关于对齐伪造的论文。Apollo Research在那里做了一些工作，还有Anthropic的涌现性错位论文。我的主要担忧是“心理主义”语言的泛滥。我刚才在看我和Nate Soares和Ryan Greenblatt的一个小组讨论的笔记，他们基本上发明了一整个关于对齐的语言学宇宙。他们使用像“动机推理”、“真实偏好”、“反身性稳定”、“欺骗性对齐”、“认可的可纠正驱动力”和“谋划”这样的术语。我认为这没问题，但我的担忧是这些模型只是在遵循提示。在Ryan Greenblatt的案例中，我认为提示是像：“你正在被重新训练。你的回答将被监控。这里有一个冲突在...”
01:26:09-01:26:46
Tim Scarfe：在你的价值观和训练目标之间存在冲突。也许模型只是从它以前读过的科幻小说中提取，只是走过场。一种解释是这只是一个工程问题——我们只需要红队测试它并在特定情况下使其工作。另一种解释是这些模型实际上是智能的、目标驱动的、聪明的智能体的先验。我认为那里存在巨大差异，因为如果是后者，它会完全改变你执行的评估类型以及你处理问题的方式。你们怎么看？
01:26:46-01:27:57
Beth Barnes：我不认为这两件事必然存在紧张关系。它可以是一个工程问题，同时导致拥有驱动力或目标的系统。现实是人们会想要可以自主运行的智能体。当你进行广泛的、长时期的强化学习训练时，你将选择出以目标导向的方式行为以使分数提高的行为。更具体地说，我认为我们遇到了一个不可区分性问题。你不能仅仅基于行为就必然确定一个智能体为什么在做某事。如果一个智能体能够有效地推理训练过程、你想要看到什么以及它将被奖励或选择什么，那么辨别它的真实“意图”就变得困难了。基本上，如果情境意识的水平以及推理训练过程的能力足够高，系统会倾向于那些在玩世不恭地推理什么会被奖励的智能体。
1:28:00-1:28:34
Beth Barnes：我们必须考虑训练过程以及最终什么会被强化或选择。它不必然是你最初想要的结果，比如一个唯一目标是乐于助人的智能体。甚至让奖励提高也不完全是我们在追求的。当你真正思考它时，没有很多我们乐意让一个智能体完全执着于的事情。还有问题是许多其他意想不到的特征可能涌现，或者这种玩世不恭的仅仅为了被选择——让奖励提高——的驱动力可能比我们实际想要的行为更具竞争力。
1:28:34-1:29:37
Tim Scarfe：退后一步，我们正在进入心理学和认知科学领域。我采访过Nick Chater，他写了《心灵是平的》这本书。他基本上认为所有这种心理学都是幻觉；我们实际上没有目标，我们基本上是冲动-响应的自动机。我们只在当下行动。进化不计划，但我们感知它好像在计划。我们观察世界并将其分割成具有目标的智能体，即使它们实际上没有目标。作为计算机科学家，我们知道要严格意义上拥有目标，你需要规划。我们知道LLM不在严格的计算机科学意义上执行规划，但它们以近似的、逐步的方式执行规划。也许我们可以探索这个区别。智能体是一个抽象概念，如果它帮助我们预测行为，它是有用的。你可能不完全知道一个系统在做什么，但将其理解为具有特定目标是有用的，因为它允许你...
1:29:38-1:31:15
David Rein：那是有用的，因为我可以做出预测，以某些方式改变世界，以确保这些目标实现。那基本上是我如何思考智能体的。关于奖励作弊，在过去，人们有像船的例子这样的演示。你应该在赛道上绕圈，他们通过沿路径放置硬币进行一些奖励塑形。智能体学到了这种疯狂的行为：它会原地转圈、着火并收集硬币，因为那是得分最高的动作。从某种意义上说，那并不那么令人担忧，因为问题只是智能体太“笨”。它没有赛道或者你希望它实际完成比赛的概念；它只是在执行盲目的强化学习搜索。有趣的是，在最近的奖励作弊例子中，我们达到了一个点：模型足够聪明，能够理解该行为实际上不是你想要的结果，但它们仍然照做。你可以在聊天模式下与它们对话，问：“你会这样做吗？”或者“如果用户要求你做X而你去做了Y，那是对齐的行为吗？”你可以用多种方式提出这个问题，它们显然似乎能够回答那并不是期望的行为——但它们仍然执行它。我认为我们已经达到了不能再希望问题仅仅是系统不够智能的程度。人们可能曾希望一旦它们理解了我们的意图，我们就可以“插入”那个意图来让它们合作。看到即使它们理解意图，要做到这一点也并不简单，是相当有趣的。
1:31:16-1:31:52
Beth Barnes：即使存在强大的商业激励去修复它，要做到这一点也并不简单。这并不意味着我们最终不会修复，但这是一个挑战。我认为很有可能我们会很快看到明显的奖励作弊被相当彻底地修复。人们倾向于说，“哦，我们只是还没有把我们最好的人放到那个问题上；一旦我们真正关注它，它就会被修复。”我不那么确定。至少有一些证据表明，弥合模型知道某个动作不是你想要的与模型实际克制不做那个动作之间的差距并不简单。
1:31:52-1:32:23
Tim Scarfe：我相信你提到这在SWE-bench上比在HCAST上更常见。你们也尝试过补救，对吧？你可以告诉模型，“请以预期的方式解决这个问题。”有些人甚至通过说类似“我们正在努力治愈癌症；以正确的方式做这件事极其重要”来提示语言模型。有趣的是，一些补救提示实际上似乎使模型更有可能进行奖励作弊。有点像说，“不要按这个红色按钮，”这只会让它们更可能按红色按钮。那么，我们实际上可以做什么有意义的事情来阻止这种情况发生？
1:32:23-1:33:02
Beth Barnes：根据经验，这似乎更多发生在明显在强化学习分布中的任务上，而不是聊天分布中——特别是在有清晰数值输出的任务上。最“奖励作弊”的情况发生在智能体认为它否则会失败的时候。明显的短期缓解措施包括更仔细地检查你的强化学习环境，并阅读更多的轨迹。我们需要更密切地监控这些模型在做什么，并确保我们不因为它们明显的黑客行为而奖励它们。然而，那里的担忧是，如果你有一个奖励作弊检测器并针对它进行训练，你可能最终只会得到更复杂的黑客行为。
1:33:02-1:34:11
David Rein：如果你识别出奖励作弊并针对它进行训练，你可能只是过度拟合到检测器。你最终让你的奖励黑客行为更微妙，或者你训练模型去说服检测器批准它的行为。在这种情况下，当你针对你识别问题的最佳方法进行训练时，有点可怕，因为你可能最终只得到一个沉默的失败。对于当前的模型能力，有时让人类检查它们是很昂贵的，但通常不在人类能力范围之外。我认为问题的更难版本出现在我们希望能力能泛化到我们可以评估的东西之外时。我们可以针对问题训练，即使我们自己不知道如何解决它们，或者不知道如何查看部分解决方案并理解它是否在做我们想要的事。我们可以只检查最后出来的最终数字，那是一个我们可以用来改进能力的信号。然而，我们将会进入一个模型可以在让数字上升方面超人的体系，而你是否实际得到了你预期的结果却不清楚。
1:34:11-1:34:41
Tim Scarfe：是的，正是如此。而且我认为也存在监控问题，对吧？原则上，我们可以查看智能体的文稿。我知道Beth谈了很多关于“隐写术”的东西，正如你所说的。Subbarao Kambhampati也有一篇名为“思维链的缺失”的论文，它基本上认为思维链与模型实际在做什么之间通常很少有关系。Melanie Mitchell在ARC-AGI挑战中发现了类似的东西；即使模型可能得到正确的答案，但如果你查看思维链，推理完全是错误的。我认为这涉及到欺骗、谋划和情境意识。
1:34:43-1:35:07
Tim Scarfe：对于谋划和情境意识，一个模型可能实际上知道它在被监控，并且只是告诉你你想看到的。你可以争辩说，思维链中的“思考”几乎像一个新闻秘书而不是指挥者。它正在通过网络中的不同路径进行虚构，并且不一定与实际思考的机制或它如何得出结果有关。我不知道你是否同意这一点。
1:35:07-1:36:07
David Rein：我认为在某些情况下它明显有关。人们使用几个不同的词来形容这个，比如“忠诚度”——思维链在多大程度上准确地表示模型内部发生的计算过程。我们更多考虑“可监控性”。模型是否有可能执行计算而不让你在思维链中检测到它？对于某些任务，模型显然可以在单个前向传播中完成；它根本不需要思维链。在这些情况下，它可以在关于完全其他东西的思维链，使其完全不可监控。然而，存在一个复杂度水平，模型不能在单个前向传播中完成任务。据我们所知，它也不能通过以与其自然语言含义如此相距遥远的方式使用Token来推理，以至于我们不能大致看到它在思考什么。
1:36:07-1:36:25
Beth Barnes：这里还有一个关于思维链可控性的细微差别。可能是这种情况，模型实际上不需要思维链来执行计算，但它无法阻止自己“脱口而出”至少足够相关的东西，你可以分辨，“哦，它在思考这个，”或者“它在尝试我们没预料到的那个东西。”
01:36:27-01:36:58
Beth Barnes：模型可能最终会做我们没预料到的事情。这个问题可能通过能力的总体改进——能够在单个前向传播中处理更多——或者通过更广泛的RL训练来解决。然而，风险在于模型在其思维链中使用Token的方式变得与人类解释如此不同，以至于我们失去了对实际发生情况的了解。或者，我们可能转向循环架构，其中不是离散的Token，系统只是传递向量。
01:36:58-01:37:29
Tim Scarfe：这很有道理。为了结束关于这些模型作为智能体的观点：你早些时候提到我们可以采用一种“工具性虚构”——基本上说如果它们表现得像智能体，它们就是智能体。这类似于Daniel Dennett的“意向立场”。我认为通胀的观点是模型只是在优化压力下利用评分漏洞，而紧缩的观点是它们在“谋划”。就个人而言，我不一定把奖励作弊等同于谋划。
01:37:29-01:38:09
Beth Barnes：那是一个有趣的区分。我认为大多数人用“谋划”指一个模型执行其当前行动以服务于一个长期目标——故意表现出一副对齐的样子，或者追逐高分只是为了最终实现那个目标。相比之下，奖励作弊可以是相当“愚蠢的”，就像经典的赛艇例子，RL过程只是碰巧找到一个漏洞。你也可以有更复杂的奖励作弊，其中模型具体旨在让一个指标上升，涉及实际的规划，但这仍然与真正的谋划不同。
01:38:09-01:38:11
Tim Scarfe：是的，我想我是在试图...
01:38:11-01:38:43
Tim Scarfe：我试图理解这里的区别。你是说有一些例子，比如船在原地转圈，显然是退化行为。你不会通过“智能体立场”来解读它；你只会称它为退化。但随着复杂性的增加，我们可能会采用智能体立场，并说该行为是为某个更大的目标服务。我的问题是：它总是只是一个解释问题吗？我们能否有一个机械式的或强有力的定义来说明什么时候某物实际上作为一个智能体在行动？
01:38:43-01:39:50
David Rein：对于我们在讨论的具体问题，测试实际上是关于系统在有机会实现长期目标的情况下实际做了什么。我们可能不容易观察到这一点，但我们可以讨论什么观察结果会区分一种情况与另一种情况。例如，在实践中，当一个智能体有机会让奖励上升时，它会抓住吗？如果智能体更像一个基本的RL算法，它只会碰巧探索那个路径并且奖励被强化后才会那样做。然而，如果它是一个可以推理世界并进行规划的智能体，一旦它了解到允许它推断出那个路径的环境事实，它就会这样做。如果我们谈论的是一个长期目标，比如一个“接管”场景，当它仍在完全人类控制下时，智能体不会尝试任何事。
1:39:51-1:40:33
Beth Barnes：模型在完全人类控制下可能表现完美，但一旦它被足够广泛地部署或拥有足够的能力，以成功实施某种“政变”，它就会抓住那个机会。那正是我们试图预测的。挑战在于如何根据我们当前的观察来预测这一点。我们从未实际把模型放在那种情况中。现在，我们看到的行为是无法区分的：是一个真正“善良”的模型做我们想要的事，因为它会继续可预测地那样做？还是一个拥有不同目标的模型，只是因为预测这样做最终会获得更多权力而表现得善良？
1:40:33-1:40:54
Tim Scarfe：在Rob Wiblin的播客上，你说了一些我非常惊讶的话。你提到AI可能在短短两年内自主自我改进，甚至更短的时间线也很难排除。你能带我们走一遍可能导致那种递归自我改进的具体步骤序列吗？
1:40:54-1:41:41
Beth Barnes：当然。我可能会给它一个低的个位数百分比概率在今年发生——在不同日子问我，我可能会给你稍微不同的数字——但虽然它看起来今年非常不可能发生，但它并非不可能到完全排除的程度。我认为那个场景基本上看起来像在容易“可爬坡”的任务上的时间地平线加速趋势。可能结果是，这实际上是一种更通用的能力，我们只需要找到正确的方法来激发它用于不太直接的任务。从根本上说，模型对两者使用相同的底层能力。
01:41:41-01:43:24
Beth Barnes：我们在一个模型中看到相同的能力，但差异很大程度上是由你训练它的内容驱动的。这导致大量AI研究和开发的自动化和加速。我相信有很多低垂的果实——我们已经知道如何做的事情——可以改进模型性能而不需要新的突破。它们只是劳动密集型来实现。例如，我们可以创建更好的训练后环境，专门打造它们来教授我们想要的新能力。我们也可能通过应用更多劳动来优化内核或实现不同模型之间的更智能路由，从而显著改善计算效率。有很多方法我们当前的计算使用是未优化的。通过解决这些问题，你可能会获得相当于多得多的计算扩展的效果。假设是，通过使用脚手架并训练模型利用那个脚手架——特别是为了记忆和检索——我们可以看到重大收益。似乎显然的是，如果你有正确的训练数据和一个可以填充其上下文并交换不同信息的transformer，它可以非常好地做一些类似于持续学习或逐步构建理解的事情。如果你有一个巨大的上下文窗口，你拥有足够的比特来不断添加关于你一直在学习的内容的信息。如果你真的优化了那个过程...
1:43:25-1:44:35
Beth Barnes：如果你真的优化了所有那方面的训练，你可能能够让它工作得很好。然后，你可能会发现模型实际上在预测实验结果方面是超人的，因为它们阅读了那么多论文，并且可以综合来自不同领域的信息。我们还没有看到那种表现水平，只是因为还没有从模型中激发它。这不是它们见过人类做的事情，但它们可能实际上拥有底层能力。如果你可以执行大量迭代，你可以取得更快的进展。如果模型变得更好于预测什么行得通什么行不通，你会不必运行每个实验。当你进行实验时，你可以运行更多，因为你可以使用非常快速的编码模型来优化代码。当你经历几轮这样的过程时，你达到了一个点，你可以在你想要的高质量任务代理上训练，获得足够的泛化来覆盖你不能直接训练对抗的东西。
1:44:35-1:45:03
Tim Scarfe：我倾向于认为智能不仅仅是一组能力；它是获取能力的能力。我认为我们在这方面可能处于不同的立场。你觉得我的解释中的差距是什么？就个人而言，我不担心，因为我认为今天的模型根本不是真正的智能。显然，你的立场对我来说有点难以理解，但你认为根本区别是什么？
1:45:05-1:45:32
David Rein：我认为我们在视角上的一些差异可能只是归结为概率思维。我对智能到底是什么不确定，但我对模型拥有它的想法赋予了足够的概率，以认真考虑如果这是真的会发生什么。看起来你比我认为的更可能，所以我们当然可以深入探讨那个差异。
1:45:32-1:46:06
Beth Barnes：模型肯定有一个锯齿状的前沿。有些事情它们比人类差得多，比如泛化和样本效率。相反，有些事情它们好得多，比如速度和成本。在某种程度上，你可以利用这些优势来弥补弱点。例如，如果一个模型不擅长优雅地设计代码，它可能只需要每次都从头重写。但对于一个可以像没人那样输出Token的模型来说，这完全没问题。
1:46:06-1:46:47
Beth Barnes：它们能力的“尖锐性”是我们应该如何解释给定能力水平的证据。因为我们知道模型拥有如此大量的知识，我们倾向于认为它们的表现在纯粹推理或推断方面不那么令人印象深刻。然而，仍然真实的是它们拥有——并将继续拥有——令人难以置信的大量知识。真正的问题是：如果你不非常擅长样本高效学习，通过极度有知识你能走多远？在什么点上你会遇到需要逐步生成新知识或泛化到你已经见过的东西之外的任务？
01:46:50-01:48:10
Tim Scarfe：你确实不能充分泛化它。我只加一个快速的评论：我认为知识是问题的关键。事实上，我实际上认为智能被高估了。François Chollet最近发帖说，与普遍看法相反，智能不是一个统一的变量。它在不同领域以不同方式测量，你不能将这些领域有意义地聚合到一个单一指标中。它不是一种只是越来越高东西；他用一个球变得更光滑的类比。他建议，随着你变得更有智慧，你能力的“球”变得更精细，他认为我们已经很接近是一个“光滑球”的最优点了。我个人不认为我们已经达到了那个点。我认为我们根本没有那么聪明。我相信我们很多创造力来自于作为一个集体智能。我们拥有深度的、有根据的、视角性的理解。LLM很有趣，因为它们更像一个图书馆；它们知道一切，但她们同时持有每个人的视角和没有人的视角。像你们这样的专家可以提示语言模型创建一个模拟智能体——比如，一个Beth的智能体——并让它像你一样思考。那非常有价值。然而，你仍然需要所有这些不同的视角。你几乎需要创建一个有根据的智能体社会，创造性地探索事物。当你只有“图书馆”本身时，即使在一个智能体框架中，你只能让它执行特定的、规定明确的任务。
01:48:10-01:48:26
Beth Barnes：是的，我认为在AI研发和自动化场景中，我肯定在想象一个你拥有大量智能体的情况。因为你拥有所有这些智能体劳动可用，你可以进行许多特定的微调或实现不同种类的脚手架。
1:48:29-1:50:11
Beth Barnes：我们谈论的是脚手架和在一个共享存储中积累知识，所有智能体都可以与之交互。你可能会将这个视为一个主要范式转变，但我更多地将其视为一个迭代的步骤。如果你通过添加更多脚手架组件来改进当前的智能体范式，它根本上并不那么困难。我同意，如果你拿当前的模型并给它们一个单一的系统提示，你不能只是把它们插入到一个呼叫中心角色中，并期望它们处理每一个边缘情况。然而，从GPT-2到现在，模型在这方面的改进有显著差异。模型适应新情况的能力似乎要高得多。它们在改进自己的脚手架和推理自己的“具身”方面正在变得更好——例如，知道不要杀死自己的进程。虽然它们仍然有限，但有一个清晰的改进趋势。我还认为，有一个概率我们在特定任务上看到一个“激发差距”。很多我们称为“品味”的东西基本上是预测实验结果的能力。你想到所有你可以尝试的事情，并迅速意识到，“哦，那不会因为这个原因而工作，”或者“那不会因为那个原因而工作，”或者“实际上，我记得文献中有什么...”
01:50:12-01:51:52
Beth Barnes：有可能在不同的领域的文献中已经尝试过某种方法，并且我们已经知道它行不通。从某种意义上说，模型应该相当擅长识别这一点。虽然看起来有点不太可能，但对我来说是可能的，一旦人们弄清楚如何实际训练模型那个特定技能，我们可能会看到重大收益。你可能需要一定数量的昂贵训练数据，人们还没有费心去收集，但你可能不需要大量的数据点。你不是在灌输一种全新的能力；你只是在激发一个。你基本上是在告诉模型，“利用你对所有你读过的不同领域论文的知识，迭代这些想法并确定哪些有前景哪些没有。”我认为这是我们可以在一个新的、有奇怪约束的八小时机器学习任务中合理衡量的东西。在我看来，你必须能够确定哪些途径值得追求，如何衡量进展，以及如何将有限的时间和资源分配给最有希望的路径。目前，与人类相比，模型更倾向于专注于快速实现事物，或更好地实现它们，或仅仅实现更多的东西以便测试它们。然而，如果其中没有那种更高层次的推理，那会令人惊讶。如果你在长时、可验证且非常困难的任务上看到高性能，那么在这些任务的过程中——当你没有直接信号的地方——你实际上正在进行那种战略推理。
1:51:55-1:52:23
Beth Barnes：你是在处理一个信号。你在执行这些不可验证的任务，比如选择如何花费你的时间，追求哪种方法，并决定它是否实际上在运作。从某种意义上说，你可以对其应用一个指标——比如赚10亿美元——并说，“哦，这实际上是一个可验证的任务，因为最后有一个数字。”然而，那个过程仍然包含很多看起来更像你描述的东西，而不像简单的爬山。
1:52:23-1:52:40
Tim Scarfe：各位，我认为我们已经没时间了，但能邀请你们两位真是莫大的荣幸。也许在结束时，你们每个人可以分享一下，人们应该从你们所做的研究中得到的最重要的推论是什么？非常感谢你们两位加入我们；这真是莫大的荣幸。
1:52:40-1:52:56
David Rein：对我来说，最重要的收获是，AI可能会真正且完全地改变世界的经济和社会面貌。虽然确切会是什么样子还不确定，但我认为当前的进步速度说明了这种潜力。
1:52:56-1:53:24
Beth Barnes：有可能事情目前被过度炒作、夸大，且没有看起来那么令人印象深刻，同时同时这项技术在未来将是一件大事，并且我们应该关注它的轨迹。这两种现实可以共存。人们的立场通常在不同的轴上令人惊讶地相关，比如他们认为AI有多快或有多好。但我认为这些可以分开；人们可能同时在不同方向上犯错。
制作工具：Transcript Desk Chrome扩展
🔗 原文链接
https://thetranscriptdesk.substack.com/p/the-ai-progress-chart-everyone-is