Appearance
一个单一数字不再有意义 | Noam Brown | 编辑转录
原文标题: A Single Number Doesn’t Make Sense Anymore | Noam Brown | Edited Transcript 来源: The Transcript Desk
💡 核心观点
- AI智能的评估不能仅依赖于单一基准分数，特别是随着推理模型的发展，能力在推理计算量变化时会大幅波动，模型发布时必须考虑推理计算成本对能力的影响。
- 训练时递归和测试时递归（推理计算）是未来扩展的关键方向，而不仅仅是增加数据量或参数规模；基于先验的大规模预训练与推理计算的结合可能比完全无先验的RL更有效。
- 学术界在计算资源方面严重落后于工业界，但通过专注于高质量评估、联合计算集群等方式仍可发挥重要作用；开源模型的生态（如中国模型）对全球AI发展具有重要价值。
📖 中文全文
章节时间戳 00:05 定义智能与AGI基准 01:06 衡量AI智能的挑战 02:14 长篇任务中的AI进展 03:28 评估智能：基准与指标 05:47 当前智能评估的局限性 07:26 智能的多样性与评估方法 08:26 规模、数据多样性与生成-验证差距 10:00 程序归纳、搜索与人类先验 14:56 生物合理性与AI算法的简洁性 17:17 先验与技能习得在AI中的作用 19:15 逆向观点与推理计算的重要性 23:00 训练时与测试时递归及未来方向 25:45 学术界在AI研究中的角色与挑战 36:26 开源模型、个人成长与职业经验
由Transcript Desk Chrome扩展制作 完整视频：Noam Brown与Francois Chaubard讨论智能的定义与度量、AI评估基准、先验与计算的作用、生物合理性、学术挑战、开源模型以及AI研究中的个人经历。
转录文本 00:05-01:06 Francois Chaubard：我认为，如果我们想认真讨论AGI或解决AGI，或走完剩下的路，最好从智能的定义开始。定义“智能”（the I）很可能是第一步。那么，你是如何思考定义智能的？ Noam Brown：我真的——我对此没有一个很好的答案。我的意思是，我相信很多人都尝试过并失败于给出一个真正具体的智能定义。我记得，你知道，在2017年底我做了一个Reddit AMA，当时就有人问我：“你担心AGI吗？”你知道，我们有玩围棋的机器人，你刚做了一个玩扑克的机器人，看起来模型变得越来越智能。你认为未来10年内它们不能做什么？我当时说，老实说，我现在并不太担心AGI。我可以有90%以上的信心说，AI在10年内无法写出一部发人深省的小说。如果AI能做到这点，那么我就会非常害怕AGI。 Francois Chaubard：有意思。 Noam Brown：你知道，那是2017年。 Francois Chaubard：嗯。 Noam Brown：现在还剩大约一年半。 01:06-02:14 Noam Brown：我的预测看起来不太乐观。但我想说，这是一个很好的智能例子，我坚持——我不会移动我的目标。我认为如果我们有一个能真正写出发人深省的小说的AI，那将是智能的一个极好标志。 Francois Chaubard：嗯，是的。我想说的是，发人深省对谁而言？ Noam Brown：是的，有道理。我不会说这是一个包罗万象的智能定义，但我认为这是我想到的例子之一，说明我们需要达到的目标，而我们还没有完全达到。 Francois Chaubard：你认为限制步骤是什么？为什么不能——为什么小说创作……我们可以做下一个token预测，让它一直生成到书末尾。这只是一个提示词的问题吗？ Noam Brown：我的意思是，在2017年，连把连贯的句子串起来都是不可想象的。所以我们取得了很大进展，而且我认为我们现在实际上已经非常接近了。我猜主要的挑战是——比如，我们有AI现在大概能写出相当发人深省的短篇小说。我认为写小说的主要挑战在于任务长度。要写一部小说——小说本身至少有10万个token。 02:14-03:28 Noam Brown：然后你需要想想人类写一部小说需要多长时间。 Francois Chaubard：如果是一部好小说，一部发人深省的好小说，他们可能会花超过一年的时间。 Noam Brown：所以如果你看看像——你知道，我对meter plot有我的看法，但我认为在某些方面它是一个相当好的评估和衡量标准。AI需要多长时间才能完成人类需要一年才能完成的事情？ Francois Chaubard：嗯。 Noam Brown：我认为我们大多数事情还没有做到那一步，但我们正在取得进展。 Francois Chaubard：所以我认为你对AGI基准的粗略代理就是写一部小说。有没有什么东西可以归一化或控制它先验经历的数量，或产生小说所需的焦耳数？比如，在其他条件相同的情况下——如果思考深度相同，但消耗的焦耳少100倍或少1000倍的训练错误，或没有白板（tabula rasa）和完全没有训练——那不是更令人印象深刻吗？ Noam Brown：呃，当然，是的。我的意思是，肯定有办法让它更具挑战性或更令人印象深刻。我不是——你知道，这一切甚至有点荒谬，像“好吧，我们怎么让它足够困难？”十年前，这并不重要。 03:28-04:28 Noam Brown：我想我们现在到了细节确实有点重要的地步。我确实认为，现在用现有模型，可能可以通过组装的方式让它实际输出一部发人深省的小说。 Francois Chaubard：是的。那么，那足以算作AGI吗？ Noam Brown：我猜很可能不是。我认为你想看到——我想看到一个相当轻量的组装，如果有什么的话。但如果你在2017年告诉我，是的，我们将在2016年达到一个点，你可以把一堆LLM组装在一起，它们能够实际输出一部发人深省的小说，我可能会说，“是的，这很好，这足以符合我定义的AGI。” Francois Chaubard：嗯，很高兴你没有频繁移动目标，这常常发生。在现有常用衡量智能的指标中，最常用的是验证困惑度（val perplexity），即每瓦特智能，它来自Chris Ré的实验室。简单来说，就是验证困惑度除以产生这些token所需的焦耳数。 04:28-05:47 Francois Chaubard：有一些讨论说要将其转到GSMK中#之后发生的一切。所以，之前发生的我不在乎。现在它不仅是产生下一个token所需的焦耳数，而且是产生答案所需的焦耳数。那么就是，你使用token的效率如何？所以有一些这样的衡量指标。然后还有一大串基准，就是——你看到15个不同数字的排行榜，它们都被基准破解了。然后还有像ARC Prize、ARC 1、2、3这样的努力。你对这些作为智能的代理指标有什么看法？ Noam Brown：我的意思是，现实是，衡量智能是非常困难的事情，这就是为什么我只给出一个衡量智能的例子。但我认为我们甚至不知道如何衡量人类的智能。 Francois Chaubard：你知道，人们谈论不同类型的智能。 Noam Brown：我认为——如果我们处于一个无法衡量人类智能的地步，那么很难有一种客观的方法来衡量模型的智能。 05:47-07:24 Noam Brown：我认为所有这些指标都是有效的。我认为它们也都有挑战。例如，如果你使用GSMK评估，那么如果模型专门针对数学进行了微调，会怎样？好吧，它会在这个评估上变得非常好，但如果你关心像写小说这样的事情，它就是一个更智能的模型吗？可能不是。这就是Chollet的智能衡量标准的要点——我们必须控制先验经验，而这恰恰是难以做到的，特别是在人类身上。你有多少先验经验？ Francois Chaubard：是的，我想问，你在OI（OpenAI）是否应用过类似的东西，或者是否有按先验经验归一化的做法？比如，是的，我可以进行奖励破解，但如果我不这样做，它取得相同性能是否更令人印象深刻？ Noam Brown：是的，我对此没有一个非常令人满意的答案，因为我没有一个日常使用的智能定义。我认为我喜欢有多种不同的评估。我认为综合看待这些评估可能是衡量智能的最好方法，而且我认为可能有不同的方面，不同的评估可以捕捉这些不同方面。并且…… 07:26-08:26 Francois Chaubard：可能有些种类的智能是你关心的，而有些种类不那么重要。也许如果你是一个数学家，你真的很关心，“这个模型能证明我的数学问题吗？”这就是我真正关心的智能。 Noam Brown：嗯，我认为，你知道，ARC捕捉了另一种智能。比如ARGI 3，它实际上是关于适应新环境的能力。我认为这是另一个完全合理的智能定义，在某些领域非常有用，而且我认为这很大程度上取决于你希望这些模型做什么。 Francois Chaubard：嗯。我相信你在OAI（OpenAI）有一些庞大的评估集，在发布新模型之前，它必须通过这个评估。也许它是静态的，也许它是动态的，也许它包括人在循环中，我不知道。我不是要你说那个，但这包含什么？是你们内部开发的一系列庞大任务吗？OI基准？ Noam Brown：是的，我可能不能说。 Francois Chaubard：好吧。好吧。我的意思是，嗯。好的，下一个是——我们已经讨论了试图定义智能、量化智能。现在，考虑到你有自己的——我称之为OI基准，你可以随便叫它——最有趣的……你知道，我们之前讨论过很多“主义”。有“伊利亚主义”，公平地说，伊利亚·苏茨克沃（Ilya Sutskever）现在不一定还相信这个，但在当年的NeurIPS上他肯定相信，他说：“NTP（下一个token预测）就够了，我们需要的只是更多token，兄弟。”有“侏儒主义”（gnomeism），我会这么叫，它是伊利亚主义加上生成-验证差距：既然我们除了互联网数据外还有其他办法，如果我们有一堆可验证的问题，我们可以生成然后验证它们，这会创造更多数据，然后我们就可以做事情了。那么，你同意这种“侏儒主义”的说法吗？还是说…… 08:26-10:00 Noam Brown：是的，我认为这并没有捕捉到全部故事。我的意思是，显然我们试图把很多东西浓缩成一句话。我认为另一个关键部分，在我看来，是推理计算——很多能力，特别是推理能力，我认为通过更长时间的思考来提高生产力的能力。所以不仅仅是——我的意思是，这也是下一个token预测的一种形式，你预测一系列token。当然也有其他扩展推理计算的方式。但我认为我也会将其视为智能的关键组成部分。 Francois Chaubard：嗯。我认为对测试时计算的反叙事是，如果我有一个刻意设计的例子——比如，我试图学习排序，而人类还不知道归并排序，但知道冒泡排序。所以我有无限多条未排序列表和称为冒泡排序的过程的轨迹，然后最终答案是排序后的列表。我可以生成无限多的这样的数据。这是可验证的，对吧？生成-验证——我可以生成很多。我永远无法通过测试时计算达到归并排序。好吧，我认为我只会得到一个非常糟糕版本的冒泡排序。也许它会执行完美的冒泡排序，但如何将其压缩为另一种算法？它被训练成精确执行冒泡排序。推理轨迹是冒泡排序。 Noam Brown：当然，当然。如果你在整个存在中只训练它冒泡排序，它只知道如何做这个，那么是的，它可能不能做任何超出这个范围的事情。但我认为这就是为什么多样性——在做预训练时，一个重要的方面是确保数据多样化，以确保有足够的探索。 10:00-12:00 Francois Chaubard：对。所以我想，如果你在token空间中进行采样，进行跨导（transduction），其中θ是程序，它实际上在调用自身，在调用程序，而另一种情况是进行程序归纳（program induction），输出某个程序并在其上进行元学习。如果是前者，进行跨导，那么在只训练了冒泡排序或插入排序等的情况下，归并排序轨迹的条件概率是多少…… Noam Brown：我认为这就是生成-验证差距发挥作用的地方，因为如果概率非零——你知道，你有一百万只猴子在一百万台打字机上乱敲，然后其中一只发现了归并排序，而且很容易判断，“嗯，我们这次排序比之前用冒泡排序快多了。也许我们应该再看一下这个。”很容易验证你偶然发现了有意义的东西，对吧？我觉得，在很多方面，这就是人类文明随时间发展的方式，对吧？像——有人发现了，“哦，我们生火了。”那花了很长时间。我相信很多人长时间敲打石头，试图弄清楚，“我们得到什么有趣的东西了吗？”或者他们甚至没有打算得到什么有趣的东西，然后他们注意到，“哦，现在有火了。”很容易验证刚才发生了有趣的事情，重要的事情，对吧？现在这可以推动进步。 Francois Chaubard：对。嗯，我想对程序空间的搜索，如果是随机的，那是极其低效的，我们永远无法很快达到归并排序。但如果你有一些先验，并且它进行了一种有趣或巧妙的启发式搜索，并且学会了搜索程序空间，那么我完全同意。但即使如此，也有方法——你知道，每年IMO的获奖者总是——有大约十种你学会的策略，或者非常擅长下棋的人，有像，你知道，兵值一分，车值五分，然后…… Noam Brown：我不认为对于IMO或国际象棋来说这么简单。 Francois Chaubard：是的，好吧。我的意思是，他们尝试这些——这是一个达到至少25分的好方法，就像你有这十种策略，你做这些事情。我同意，要走到剩下的距离，这是相当愚蠢的。我相信马格努斯·卡尔森（Magnus Carlsen）会对“你只需要知道兵值一分、车值五分，然后你就能打败我”这种说法感到停顿。不。但你在某种程度上是借助别人凝结的知识，然后运行这个算法，也许你的海马体比我的更强，你可以做更多的MCTS，迭代更快，走得更深，你有更好的记忆等等。这可能——也许是技能，也许是学习的，也许是DNA。但我的观点是，程序内搜索的启发式仍然严重受到人类的影响，因为我们在人类程序上训练它作为搜索程序空间的先验，而不是随机的。 12:00-14:00 Noam Brown：嗯。我认为这很有道理。你有一百万只猴子在一百万台打字机上打字，最终你会偶然发现有用的东西，但这需要非常非常长的时间。如果你能锐化这个先验，使其能够专注于实际有希望的方向，你会更快地偶然发现有用的东西。 Francois Chaubard：嗯，在离开这个话题之前，你实际上认为目前的……14:56-15:22 Francois Chaubard：你认为当前的LLM设置是生物学上合理的吗，有什么不是？你真的关心这个吗？ Noam Brown：你说的生物学合理是什么意思？ Francois Chaubard：是的，比如，大脑在做反向传播吗？预训练基本上是DNA吗？这些人们会争论的映射。 Noam Brown：我不明白——我的意思是，我不是生物学家或神经学家，所以很难在这里断言。 15:24-15:55 Noam Brown：我认为深层神经网络方面——据我所知，与大脑结构有一些相似之处。我不认为与人类大脑有多接近是特别重要的，尤其是在目前。显然，这里有一些有效的东西在起作用。 Francois Chaubard：嗯。 Noam Brown：我认为从某种意义上说，可能有更多有用的东西我们还没有发现，但对于这一点，我不是合适的人来说。 Francois Chaubard：嗯。你博士期间的主要创新之一是利用测试时计算，结合一个非常简单的程序，可以在CPU上运行，实际上比许多在策略（on-policy）的、在大量扑克游戏上训练出来的RL算法要好得多。 15:56-16:33 Francois Chaubard：实际上François Chollet说过：“我认为我们最终会找到运行大脑的算法，它将是一个非常简单的程序，并且它可能几乎没有先验。”你同意这个观点吗，还是不同意？ Noam Brown：我同意它可能非常简单优雅。我的意思是，我认为我们今天使用的很多算法都非常简单优雅。至于它没有多少先验的观点——我不知道我是否一定同意。有可能，但我也认为有不同解读方式。 16:34-17:16 Noam Brown：当很多人听到这个时，他们会想到像AlphaZero这样的东西，AlphaGo取得了巨大成功。它在大量人类数据上训练，做蒙特卡洛搜索，自我对弈，并在围棋中击败了顶尖人类。之后的跟进是AlphaZero，它去掉了人类数据的学习——人类数据就是先验——只有规则和计算。 Francois Chaubard：是的。 Noam Brown：结果它做得好多了。但当在《星际争霸》这样的游戏中尝试时，效果并不好。 Francois Chaubard：是的。你认为这与动作空间有关吗？ Noam Brown：我认为是的。所以，原则上，如果你做足够多的RL，用足够大的网络，做足够长的时间，是的，你可以完全没有先验。但事实证明，这并不实用，到目前为止，先验对于像大语言模型这样的东西极其重要。 17:17-18:16 Francois Chaubard：对。有没有可能有一天我们完全摆脱先验，只用RL从头学习一切？ Noam Brown：我认为在理论上是可能的。我认为可能性不大，而且我认为在可预见的未来，这不是正确的追求路径。 Francois Chaubard：你为什么这么说？ Noam Brown：我认为证据相当——人们很长一段时间都非常专注于移除人类先验、从头学习这个想法。多年来，从AlphaZero开始，我认为是从2017年到2021年，这曾是RL领域的主导范式，然后越来越清楚的是，能够在大规模互联网数据上进行预训练并构建有用的先验是非常有效的，结果很难反驳。这种情况可能会改变，但目前证据非常强烈地支持相反的方向。 18:17-19:14 Francois Chaubard：Chollet会说，你只是在购买任意水平的技能，但智能的真正衡量标准是技能习得速率——技能习得效率。所以，通过提升我的先验，你基本上只是越来越接近基准破解。目前还不清楚建立这个有用的先验是否会损害它在线学习的能力。所以不一定存在权衡。我的意思是，也许存在，但如果是这样，我希望看到一些证据。 Noam Brown：是的，这是公平的观点。我猜持续学习的东西——就像Sutton证明的那样，反向传播本身，无论你在训练什么，你训练得越多，它就会在改进或持续过程中降低神经可塑性。我也经历过这一点，但训练得越深入，更多维度变得退化。如果你在训练后期采样随机方向与早期采样相比，每个方向根本不影响验证损失。所以这会是降低神经可塑性的一个论点。 Francois Chaubard：但不管怎样，我想确保我们把剩下的问题都过一遍。 19:15-20:35 Francois Chaubard：所以，关于AI的逆向观点——我肯定你——我们稍微讨论过这个。越来越难得到。你今天对AI有逆向观点吗？ Noam Brown：是的，我会说其中一个——是的，我不太多。我会说，是的，我坚信模型会继续变得更好。智能会以相当快的速度继续提高。我认为领域低估的一件事是——我实际上仍然认为推理计算的重要性被低估了，特别是随着我们发布更强大的模型。我的意思是，我认为这种想法——当我们发布一个基准时，我们进行比较，但当我们发布一个新模型时，我们在这些不同的评估上用一个单一数字来评价它。所以我们说，“好吧，这是GPQA，这是一个单一数字告诉你这个模型在这个基准上有多聪明。”我认为这不再有意义了。 Francois Chaubard：对于GPT-2是这样，对于GPT-3有意义，对于GPT-4也有点意义。即使在那里，我认为也有点可疑。 Noam Brown：我认为自从你得到这种提示链式思考并获得更好的性能以来，这就不再正确了。我认为一旦我们有推理模型，这显然就不正确了，而现在我认为我们还在这样做有点愚蠢。但我认为人们只是期待这样，所以才会这样做。我认为ARC实际上在快速摆脱这种做法，并用推理计算或成本作为x轴来衡量事物，我认为这是衡量任何——特别是推理密集型——基准的正确方式。 20:36-22:35 Francois Chaubard：是的。现在，我认为当你开始看像准备框架或负责任扩展政策这样的东西时，这一点实际上很重要，因为有一些阈值决定，“好吧，如果我们发布一个模型，它的能力是什么，不同的阈值在哪里？”我认为实际上非常重要——当你评估一个发布模型的能力并决定它是否危险或超过某个能力水平时——你在评估中投入了多少推理计算？如果你处于智能纯粹是推理计算的函数的点，对吧？ 22:35-22:59 Francois Chaubard：对吧？那么，你可以购买任意数量的智能。 Noam Brown：是的。所以，你应该在你的评估上花无限的钱。 Francois Chaubard：是的。所以这是一个真正的问题，因为，你知道，你可以发布一个模型并说，“好吧，我们把推理计算限制在10美元。”但如果某人可以轻松地把一堆查询组装在一起，现在他们可以花1000美元的推理计算，那么他们实际上拥有了比你发布时更智能的模型，对吧？如果他们组装了一百万美元的推理计算，现在他们拥有一个比你发布时强大得多的模型，实际上？它不是——显然，你知道，它与你发布的模型是同一个模型吗？这是有争议的。显然，这在GPT-2或GPT-3时不是问题，因为你不能把一千个GPT-3查询组装在一起，得到比GPT-3更智能的东西。那是不行的——也许略微可以，但并非真正。 23:00-23:55 Noam Brown：随着模型能力越来越强，这正成为一个越来越大的问题。 Francois Chaubard：是的，这真的很有趣。我几乎觉得当前的趋势，当前的时代精神，是扩展组装。这就是cloud code正在做的——它们注入越来越多的组装。随着模型变得更好，你实际上可以用更少的系统提示，系统提示会变得更小。你需要更少的组装这类东西。但实际上我想走向另一个方向，你知道，我写了一整篇博文关于下一个扩展定律将是训练时递归。虽然你有测试时递归——更多的测试时计算——如果你接受这样一个论点：我们试图构建一个图灵机，我们试图构建一个图灵完备架构，更迂腐地说，成为图灵机的一个要求是测试时无限递归。在训练时，它们确实有无限递归，正如你所说的；它们在训练时没有——它是一次前向传递，是教师强迫（teacher-forced）。所以你只有一次前向传递，然后你必须基本上匹配他们说的任何东西，也许这在让它自由生成时会被打破，然后你有一些验证，并且有一些从测试时发现的潜在空间蒸馏回其中，如果你在做这种递归的事情。但实际上我们已经看到了从参数量角度来看，在ARC 2上通过训练时递归取得了最大的进步。它是HRM、TRM，显示出这种外部精炼循环实际上是主要贡献者。你对未来的训练时递归有什么看法？ 23:56-24:58 Noam Brown：嗯，我认为在训练时花费更多计算的想法——我的意思是，这里有一个区别，比如预训练与后训练。显然，对于像后训练这样的事情，有相当多的计算花费。但听起来你在这里更谈论预训练。 Francois Chaubard：是的。 Noam Brown：我认为你已经在这个过程中融入了很多人类偏见，对吧？相比之下，让它思考、深思，然后才用教师强迫强迫它恰好生成我的下一个token。 Francois Chaubard：是的，我认为这是一个很好的探索方向。我认为仅仅因为我们今天有某些东西在起作用，并不意味着它是做这件事的最好方式，当然也不是唯一的方式。我认为追求和研究不同的研究方向是有价值的，因为完全有可能——甚至很可能——我们会想出比我们今天使用的更有效的东西。 24:59-25:44 Francois Chaubard：在当前的技术栈中，你最看好什么会被淘汰？我的意思是，我不是做预训练的人，所以我可能不是合适的提问对象。而且，如果我是，我也可能无论如何不能说。 Noam Brown：好吧。好吧。也许这正好是下一个过渡。研究——我觉得我从2012年到2014年在Fei-Fei的实验室开始，现在我回来了，LLM吸走了房间里多少空气，与之前被追求的各种不同研究想法相比——现在这种情况基本上不再发生了。现在有了自动研究员，我有四个不同的自动研究员在运行，它们正在写我以前的NeurIPS论文之类的，我们讨论过。你认为学术界的作用是什么？会议的角色，提交的重要性，经历审稿人——无论是他们自己的代理还是高中生带着他们的代理，甚至更糟。你对学术界未来、会议未来、获得博士学位的重要性有什么看法？ 25:45-27:00 Noam Brown：是的，这是个好问题。过去几年我经常被问到这个问题，我确实有一些想法。我的意思是，事情并不像一些研究人员说的那样无望。我认为学术界实际上有一些有价值的事情可以做。我先说问题，第一，很多最令人印象深刻的AI能力是规模的结果，这对学术界是个问题，因为学术界没有那么多GPU，这是现实。我认为可能有所不同。理论物理的例子是一个很好的例子，有大型强子对撞机——据我所知，那不是私营企业。所以大学可以获得大量计算资源并用于学术研究。 27:01-28:10 Noam Brown：如果我负责一所大学，我会花10亿美元建立一个大型计算集群。老实说，如果你是一所不在计算机科学或AI前十名的大学，想要快速进入前十甚至成为第一，你就花大量资金购买GPU，然后去找每一位明星教授、每一位明星学生，说：“嘿，我们每名研究员的GPU比地球上任何其他地方、任何其他学术机构都多。” Francois Chaubard：是的。 Noam Brown：你很快就会吸引很多优秀人才。 Francois Chaubard：是的。我发布过的最著名的推文是在今年NeurIPS之后。我们和一群教授共进晚餐，问他们学校的计算资源怎么样，我回家就拿H100或等效的数量，按美元加权或其他，除以CS学生数，然后发布了图表。除了MIT和哈佛，每个人都明显低于1。然后我稍微加权了一下，考虑本科生是否真的需要H100，基本上除了MIT和哈佛，每个人都低于1。 28:11-29:57 Noam Brown：这相当严峻。是的，相当严峻。我和教职员工聊过，我随口提一下我大致有多少GPU可以随时使用，他们的头就炸了。我认为很多学术界的人不了解当前学术界和工业界之间的差距有多大。我完全同意。不幸的是，我自己在资助，但向佛罗里达大学致敬——没人知道，但他们有一个叫Gator什么的，或Gator Cloud之类的东西。有大量的GPU。还有德州大学奥斯汀分校。 30:01-32:21 Francois Chaubard：德州大学奥斯汀分校有大量的GPU。大量的计算资源。所以，如果你是博士生，我会考虑去那里——说实话，这两所中的一所。而斯坦福其实很差，尽管有数百亿美元的捐赠基金。我和我们的教授们讨论过很多次这个。 Noam Brown：我认为对于学生在决定去哪里时，这是一个重要的问题：我会有多少计算资源？可能不要只问教授。问学生他们有多少GPU可用，因为你会得到更诚实的答案。 Francois Chaubard：我相信求职者会问你，如果我来OpenAI工作，我会得到多少计算资源？这难道不是选择工作地点的一个重要因素吗？ Noam Brown：我认为是的。基本上，你想知道公司整体研究有多少计算资源。我不经常被问到这个问题，因为我认为人们相当有信心OpenAI有大量的计算资源，这是正确的评估。但这是人们可能应该问的问题。 Francois Chaubard：你认为学术界获得计算资源的解决方案是什么？因为显然，我们还没有达到粒子对撞机级别的资金投入数据中心。我的意思是，我们在斯坦福等了Marlow，当他们最终发布时，是几百个GPU给整个斯坦福计算机系。 Noam Brown：我在这里没有好的答案。一种可能性是大学联合起来，一起进行更大规模的实验。我认为看到一个学术的、纯粹开源的预训练努力，有可能具有竞争力，那将非常酷。挑战在于文化。现在的AI研究非常注重两作者论文，可能是五作者论文。如果你要进行这样一个大型项目，如何确保每个人的贡献得到适当认可？这是一个非常困难的文化调整。而且这不是在学术界产生影响的唯一方式。我想说清楚。如果你想做大规模实验，是的，计算资源是真正的挑战。但有些事情可以在没有大量计算资源的情况下完成。评估是我一直指出的。在像OpenAI这样的地方，我们从第三方评估中获得很多价值。你使用了一些计算资源来制作ARC-AGI-3，但可能数量不大。 32:24-34:14 Francois Chaubard：这不像预训练前沿模型那样。我想问你：你认为像ARC-AGI-3这样的东西可以在学术机构中制作吗？ Noam Brown：第一，可以。第二和第三，不可以。第二和第三需要更多的对细节的关注、资金和规模。此外，没有人真正通过编写维护代码来获得博士学位。很难说，“我只是要写这个的下一个版本。” Francois Chaubard：我认为很多人低估了评估的影响。Dan Hendrycks是一个很好的例子，他通过制作高质量、有用的评估而声名鹊起。这是一种可行的影响途径。 Noam Brown：是的。我们实验室出了LegalBench，还有其他几个类似的。 Francois Chaubard：这很难。我认为ARC-AGI是最高质量的基准之一，一个博士生或一组有资金的博士生，仍然会难以做到ARC Prize所做的那样。François Chollet和他的团队投入了非凡的努力、才华、智慧和金钱，我认为这在学术机构中无法完成。 Noam Brown：事后看来，你也许可以说，“哦，是的，我们可以制作一堆游戏，确保它们在某些方面是正交的。”但学术界不奖励这种协同努力。 Francois Chaubard：我同意。学术界不奖励这种努力，希望这会改变。 Noam Brown：但当然也有来自学术界的优秀评估，而评估是我关注的事情。 34:14-36:26 Francois Chaubard：你还有另一个关于会议角色的问题，我认为观察其演变将非常有趣。现实是，很多论文目前由AI撰写，很多论文由AI审阅。 Noam Brown：我不一定认为这是坏事。我和学术界的人讨论过，他们基本上说，“看，AI审阅的论文、AI审稿，并不是那么好，但可能已经比现在平均的人类审稿要好。” Francois Chaubard：完全同意。这就像大规模的行动者-评论家（actor-critic），科学中正在发生的最大规模行动者-评论家事情。有人在循环中确保一切良好。 Noam Brown：之前审稿人的方差非常糟糕，所以这可能是净正面。 Francois Chaubard：是的。但我认为你想让它们与人类配对。实际上有一个相当好的想法：让AI评审每篇论文，指出是否有致命缺陷，并由人类验证。我认为我们会看到这个趋势。六个月前，AI评审并不好，但AI正在快速进步。我预计最新模型会做得非常好，特别是如果你指向参考文献并且它们可以做文献综述。如果它们现在还没有达到，我会说到了年底它们会做得很好。现在标准做法是把论文提交给所有大型AI模型并获得反馈。这就像自动审稿。你最好这样做来挤出论文中的小问题。 Noam Brown：我同意。老实说，我认为距离AI端到端撰写论文不会太久了。 Francois Chaubard：是的，它们可能已经能写相当大一部分了。 Noam Brown：我看不到它们端到端撰写论文以及同时完成所有实验的障碍。这需要时间。工作量很大。正如我说的，人类写一篇好的会议论文需要多长时间？可能至少几个月。 Francois Chaubard：但我认为我们会达到的。我付费使用Overleaf积分。所以还有两个问题。 36:26-37:33 Francois Chaubard：我们谈到了地球上的O形空洞。当OpenAI停止发布权重和大量开源时，有一些回归的光亮。你对DeepSeek、Qwen 3以及一般的中国模型成为世界事实上的开源权重有什么看法？ Noam Brown：这真的不是我的专业领域或由我来决定，所以我可能没有太多可补充的。但就而言，我确实认为开源有很多价值。有好的开源模型在外很重要。 Francois Chaubard：我希望这个空洞被填补，要么由我们，要么由其他人。 Noam Brown：我同意。 Francois Chaubard：最后一个问题。在过去十年中，你经历了巨大的成长，看到了如此多。除了AI之外，过去十年中你经历的最困难的时期或自我成长最大的时期是什么？ 37:44-40:05 Noam Brown：不是AI之外，但我认为2017年参加的Libratus比赛是我生命中的关键时刻。那时我是一个相当不知名的研究生，我很清楚如果我在这个比赛中成功，那将是一件大事，一个巨大的成就。我也知道这需要付出巨大的努力。基本上在2016年初，我非常清楚成功之路是什么，我必须花一年时间非常努力地执行。那一年，我投入了大量时间，基本上不停工作来做一个非常强的扑克机器人。整个职业生涯取决于一场扑克游戏，这非常有压力，因为你不知道你的机器人是否好。扑克是一种方差极高的游戏。仅仅看牌局很难判断它是在做得好还是不好。我们没有预算雇佣一堆人类扑克玩家进行压力测试。我们对抗以前的机器人，有一些感觉它表现不错，但方差如此之大，我们甚至对胜率没有很好的感觉。真正的挑战是人类非常适应。一旦我们实际对抗人类，他们会适应机器人的弱点吗？他们会找到漏洞吗？那是一个非常紧张的时期，幸运的是最终成功了。 Francois Chaubard：当你获胜时，你是怎么庆祝的？ Noam Brown：我大概花了几周才冷静下来，意识到，“哦，实际上结束了。我现在可以放松了。” Francois Chaubard：没有庆祝？没有去阿鲁巴或别的什么地方？ Noam Brown：我想我没有真正庆祝。我直到最后都难以相信，我们不会突然输掉。但后来有人告诉我，我本可以投入90%的努力却得到0%的回报，我认为这是一个很好的人生教训。有时候你只需要非常努力才能完成某件事。 Francois Chaubard：太棒了。非常感谢你。这次对话很棒。 Noam Brown：是的，谢谢你邀请我。 Francois Chaubard：好的，谢谢。
由Transcript Desk Chrome扩展制作
🔗 原文链接
https://thetranscriptdesk.substack.com/p/a-single-number-doesnt-make-sense