Appearance
Anthropic联合创始人与首席经济学家谈AI前沿研究 | 听录文本精修版
原文标题: Anthropic's Co-Founder and Top Economist on Doing Research at the AI Frontier | Edited Transcript 来源: The Transcript Desk
💡 核心观点
- 前沿AI模型的能力提升极其迅猛,但在宏观经济层面的扩散与生产力体现仍存在明显的时滞,这主要受限于企业内部数据整合、组织流程再造以及隐性知识的传递。
- 在模型应用与技术研发中,“扩展定律”(Scaling Law)和“苦涩的教训”持续生效,通用AI工具正极大地放大领域专家的生产力杠杆,并在人才招聘市场上催生出青睐极资深专家与AI原生人才的“杠铃效应”。
- 面对前沿模型的国家安全、安全对齐以及潜在的系统性风险,建立类似金融业KYC(了解你的客户)和第三方审计的技术监管与透明度披露机制,将成为平衡市场竞争、商业信任与技术安全的关键。
📖 中文全文
章节时间线
- 00:00 为什么AI主导了经济与政策讨论
- 02:30 克拉克在2016年对AI坚定信念背后的证据
- 05:00 为什么先进模型尚未重塑整体经济
- 07:30 8倍代码增长与算力扩展的苦涩教训
- 10:00 AI能自动化专家工作的哪些部分
- 15:00 递归自我改进的双重含义
- 17:30 国家安全能力与AI监管
- 22:30 评估AI对生产力增长的影响
- 25:00 采用数据可能揭示经济拐点的位置
- 27:30 利用AI算力加速科学领域发展
- 30:17 谁来决定前沿实验室应披露什么
- 35:00 AI在招聘与职业发展中的“杠铃效应”
- 37:30 为什么AI生成的分析仍需要专家核实
- 40:00 早期职业就业证据与工人担忧
- 42:30 为什么企业数据和隐性知识制约了普及
- 45:00 错位测试与暂停发展的选项
- 50:00 前沿竞争、更便宜的模型与战略风险
- 52:30 与用户、社会规范及受托代理人的对齐
- 57:30 竞争能否支持对安全的投资
- 1:02:08 政策交接与遗留的安全困境
对话正文
00:00-02:30
彭博音频工作室:彭博音频工作室。播客、广播、新闻。
乔·韦森塔尔(Joe Weisenthal):你好,欢迎收看新一期的 Odd Lots 播客。我是乔·韦森塔尔。
特蕾西·阿洛威(Tracy Alloway):我是特蕾西·阿洛威。
乔·韦森塔尔:特蕾西,我不知道听众喜不喜欢,但我们最近很多集节目都是关于AI的。公平地讲,这确实是一个非常重大的主题。
特蕾西·阿洛威:现在所有人想聊的都是这个。每当我们和消息人士吃饭时——即使是那些并不直接在科技行业工作、而是从事市场、政策或经济学的人——他们唯一想谈的就是AI。不可避免地,对话就会滑向科幻领域的探讨,大家开始讨论人类灭绝的场景。这在现在已经是见怪不怪的常态了。
乔·韦森塔尔:我知道,这太奇妙了。我们最近去了香港,当时尚未宣布重新开放海峡的协议。香港和东亚的其他地区被认为是受航空燃油危机影响最严重的暴风眼。我们在一个与商业人士的晚宴上,他们完全没在谈论那个危机。
特蕾西·阿洛威:他们都在聊终结者(Terminator)的场景。
乔·韦森塔尔:他们只想聊代币(token)消耗和所有这些事情。当时就像是在说:“等等,你们难道不应该正承受着各种喷气燃料紧缺的压力吗?”这就是我们为AI主题节目做出的辩护。
特蕾西·阿洛威:我觉得很合理。我还想说,我们在香港做问答测试时,有很多队伍起了非常有创意的名字。
乔·韦森塔尔:“分离价值的人力资本”(Separated-Value Human Capital)。
特蕾西·阿洛威:那真是个绝妙的名字。
乔·韦森塔尔:他们赢了那场比赛。他们回答对了那个问题。
特蕾西·阿洛威:他们赢了,证明了人力资本确实存在价值。不过你注意到其中有一桌叫“Fable 13”吗?在那个时刻非常贴合时事。
乔·韦森塔尔:非常贴合时事。我们录音的时间是6月17日,这几天新闻里有很多内容。事情发展得极其迅速。即便抛开政府的争议和其他一切不谈,仅仅因为技术突破发生得如此之快,你就必须在这个时间节点上对AI做个标记。
正如你所说,AI感觉比其他任何事情都重要。但这已经是如今的共识了,而以前并非总是共识。我有一条私信(DM)。我知道私信一般不该公开,但我有凭有据。
在2016年8月2日,我发私信问一位同事:“你离开彭博了吗?”他说:“是的。我过一会儿会正式公布。我打算花几个月时间好好研究AI,然后离开新闻界去从事其他事情——但仍然与AI密切相关。”
02:30-05:00
乔·韦森塔尔:做彭博的谷歌报道记者是一份极好的工作,但他依然选择投身AI。然后是他最后一条发给我的信息,同样在2016年8月2日:“但是AI比其他任何事情都重要,所以我认为最好凌驾于一切之上对其进行优化。”我当时只是回道:“好吧,祝你好运。”
特蕾西·阿洛威:这位真是真正从采访对象身上学到了精髓的人,不像我们,还在坚持做播客。
乔·韦森塔尔:总之,那条私信里的主人公就是前彭博记者杰克·克拉克(Jack Clark),他现在是 Anthropic 的公共利益(Public Benefit)负责人兼联合创始人。同时加入我们的还有 Anthropic 的经济学负责人彼得·麦克罗里(Peter McCrory)——这两位是探讨如今AI领域所发生的一切的最完美嘉宾。彼得、杰克,非常感谢你们来到我们的播客。
杰克·克拉克:很高兴能回来。我很庆幸自己优化了人生方向。
乔·韦森塔尔:这绝对是本世纪最顶级的预判之一。我想从这里开始。在2026年说AI将是一件大事很容易,但你在2016年就预判并做出了准确的选择。在2016年8月——或者在那之前——你看到了什么,让你觉得“这是我们有生之年最大的新闻”?
杰克·克拉克:有两年时间,我在彭博做报道时,浪费了布隆伯格先生大量的打印预算,打印了大量关于AI研究的归档论文。然后我做了一件非常符合彭博风格的事:我开始绘制图表,追踪AI随时间推移的进展。
我测量了诸如计算机视觉、以及AI Agent在雅达利(Atari)游戏中的竞争与对战能力等指标。我在那些图表中看到的是一条指数曲线的起点,而且这种趋势无处不在。无论你看视觉、声音、视频还是游戏玩法,都能看到相同的趋势。对我来说很明显,这是一项处于发展极早期的通用技术。
我对彭博有一点微词,我要利用我在节目里的特权提出来:我当时一直没能让编辑同意发一篇报道,指出英伟达(Nvidia)正在被每一篇AI研究论文所使用。我提议过,但在我离职前没能让这篇文章通过审核。
特蕾西·阿洛威:我完全能想象你读着所有这些学术论文,而你的编辑却在说:“好吧,但我们需要一个能发表的新闻故事。”
彼得,我对 Anthropic 非常感兴趣。这是一家试图盈利的公司,但它却设有一个经济学实验室。在一家研发前沿技术的公司内部设立经济研究机构,背后的考量是什么?
彼得·麦克罗里:我入局比较晚,我是恰好一年前加入的。
乔·韦森塔尔:一年前。嗯,我们都知道一年内能发生多少变化,不过请继续。
05:00-07:30
彼得·麦克罗里:我受过的训练是一名应用宏观经济学家,一直试图理解整个经济中的各种冲击。吸引我来到 Anthropic 的部分原因在于,很明显,这家公司不仅深切关注技术的推进,也深切关注技术将如何重塑劳动力市场、并影响生产力与经济增长。
Anthropic 愿意向世界输出对社会广泛有益且有用的证据、数据和研究。我想帮助建立这个经济研究项目,尽我所能为那些最紧迫的问题提供初步解答。我们并不总能完全预测正确,但理想情况下,我们在帮助社会理解这种变革。
乔·韦森塔尔:模型在代码编写、文案创作和各种事情上的能力令人惊叹,简直不可思议。为什么到了2026年6月,从宏观经济角度来看,生活感觉依然像往常一样正常?
彼得·麦克罗里:这是个很好的问题,也是我一直在思考的问题。这种影响尚未显现的原因有几个。
首先,技术可以进步,但它仍需要扩散到整个经济体系中。在技术能力与实际落地部署之间可能存在瓶颈。我们在企业客户身上看到了这一点。如果你想将生物研究或某些复杂的金融建模任务自动化,你需要为模型提供大量可用的上下文信息。如果没有这些上下文信息,单靠模型能力未必能直接转化为经济影响。
此外,人们也需要时间去真正开始使用这些工具,因此我们仍处于相对早期阶段。有两个地方我会去寻找影响。一个是生产力增长。我们做的研究表明,其影响应该是巨大且深远的。疫情期间劳动生产率增长强劲,迄今为止保持了温和偏强的态势。
乔·韦森塔尔:但我们谈论的还不是颠覆性的飞跃。
彼得·麦克罗里:是的,还不是。但要达到拐点,至少需要先产生微小的变动。也许我们正在看到一些迹象。
至于劳动力市场,它目前仍处于相当健康的状态。这可能是因为到目前为止,AI主要是一种增强人类技能、偏向高技能的补充性技术(skill-biased technology),尚未成为替代所有认知劳动的通用替代品,尽管这也许是我们未来的发展轨迹。
07:30-10:00
杰克·克拉克:尽管AI的规模和能力都非常惊人,但正如彼得所指出的,整个经济体极其庞大,因此仍需要巨大的能量才能推动它移动。
不过,我认为奇特的事情正在发生,至少在公司内部是这样。Anthropic 研究院最近发表了一项关于这个主题的研究,名为《递归自我改进》(Recursive Self-Improvement)。这灵感来自于我去年11月休陪产假,今年2月返回公司。当我回来时,整个公司的感觉和工作方式都变了。我以为这是因为模型本身变强了。
但当我们查看数据时发现,在2026年,Anthropic 工程师编写的代码量大约是2021年至2024年年均代码量的八倍。这条曲线在去年随着 Opus 4.5 和 Opus 4.6 等模型的推出开始上升,然后在今年彻底飙升。
我现在有同事完全不再亲自写代码了。他们只需指挥许多 Claude Code 智能体跑来跑去帮他们完成工作。我无法将这种现象与“世界能在很长时间内保持现状”联系起来,但这确实需要时间扩散到现实世界并改变它。
特蕾西·阿洛威:我们稍后会多聊聊递归自我改进——即模型自我提升的概念。就当前这个时刻的微妙或诡异感而言,你曾谈到基本上正在经历奇点(singularity),以及那种感觉有多么奇特。你也曾将自己描述为一名技术悲观主义者。这与你在 Anthropic 工作、帮助实现这些奇特且潜在危险的事物如何并行不悖?
杰克·克拉克:我说的“技术悲观主义者”,是指我认为技术会持续变好,但我并不认为它会以我某些同事所预期的极致方式提升。我当时没料到我们到现在已经功能性地自动化了所有的代码编写。这一点让我相当吃惊。
在过去几年里——我在加入 Anthropic 之前在 OpenAI 工作——我反复被计算机科学家理查德·萨顿(Richard Sutton)所说的“苦涩的教训”(the bitter lesson)狠狠教训。苦涩的教训指的是这样一个概念:我们在相对通用的神经网络中投入的算力和资源越多,它们就变得越聪明,涌现出的特性就越多。你设计的专业化系统,或者你对未来AI进展的悲观态度,在简单的扩展算力和系统规模面前都会败下阵来。
乔·韦森塔尔:这似乎对劳动力市场有着深远的影响。AI发展史上有一个关于国际象棋的例子。曾几何时,特级大师们会介入并教模型如何下棋,试图将他们的智慧编码进去。但最终事实证明,让国际象棋引擎真正变强大的最好方法,仅仅是赋予它规则,让它自己对弈数十亿局,在没有人类洞察的情况下自行探索最佳棋法。在这个过程中,特级大师完全不是必需的。
10:00-12:30
乔·韦森塔尔:这对劳动力市场似乎意味着重大影响。
彼得·麦克罗里:是的。我倾向于从构成一项工作的三个方面来思考这个问题。首先,你需要决定做什么——即定向与授权。然后你需要执行具体工作。最后,你需要对其进行评估,或者至少建立能够评估它的机制。
从我作为经济学家的角度来看,“苦涩的教训”正在经济学家工作的具体执行层面快速体现:处理数据、运行回归、构建模型,以及使用现代的求解技术和数值方法来解决问题。
我在使用 Opus 4.5 时亲身体验到了这一点。这是我第一次能够委托一项非常复杂的任务。我有一个具体的学术研究问题,关于不同职业招聘的周期性及其与职业暴露度(occupational exposure)的关系。这很拗口。我把这个任务交给了 Claude,Claude 能够对其进行反复迭代。我可以像指导研究生一样重新指导 Claude。
我脑海中最大的疑问是,这种边界何时会扩展到“制定方向阶段”——也就是你可以称之为“研究品味”(research taste)的东西——以及模型何时会在那个阶段变得足够可靠。
乔·韦森塔尔:我刚刚读了 DeepMind 创始人的最新传记。
特蕾西·阿洛威:塞巴斯蒂安·马拉比(Sebastian Mallaby)写的悬哪一本吗?
乔·韦森塔尔:是的。会不会有那么一个时刻,你关于“什么是好的经济学研究”的直觉变得毫无帮助?我们的直觉往往是由我们讲述的故事塑造的。
这是我从围棋的例子中得出的感悟。一旦排除了人类对局和人类偏见,模型的能力就大幅提升了。人类的直觉可以帮助我们理解诸如“劳动力市场紧张引发通胀压力”之类的叙事。但这些直觉故事最终会不会反而损害模型?
你认为这种情况会在经济学领域发生吗?即我们长久以来讲述的一些故事,对于理解经济的最佳模型而言,其实并无帮助?
12:30-15:00
彼得·麦克罗里:我预计这些模型很快就会在“如何开展出色的经济学研究”方面拥有更好的直觉。核心问题是我们何时能够完全实现社会科学研究的自动化。
我们已经做了一些研究,试图理解编程智能体如何开始自动化社会科学研究,但我认为我们尚未完全达到那个阶段。当那一天到来时,对于探索世界而言将是一个令人兴奋的时代。但这意味着我的职业会变成怎样,目前还不好说。
杰克·克拉克:这是未来AI发展中最大的不确定因素。如果技术按照目前的轨迹继续推进,我们很可能会得到能够完成几乎所有事情的技术,但我们仍然需要具备良好直觉、洞察力和新颖想法的人来指引方向。
我们今天在自己的研究中就能看到这一点。比如,你需要一名AI安全研究员赋予九个 Claude Agent 不同的研究方向去探索,随后这些 Agent 的效率极高。但如果研究员不给它们这些方向,它们往往会进行相对套路化的研究。你会看到“熵坍缩”:产生乏味、无法推动领域向前发展的研究。
AI系统在何时才能产生异端邪说的洞察并展示出真正的创造力?我们今天还无法真正衡量这一点。但我们可以看到它的苗头开始显现。像彼得这样的专家,以及 Anthropic 之外的生物学、数学和物理学领域的同事,都开始受到AI的加速赋能。泰伦斯·陶(陶哲轩),当今最著名的数学家之一,现在已经在使用AI系统共同创造数学成果。这告诉我,这些系统已经开始触碰创造力的边缘了。
彼得·麦克罗里:我们昨天发布了一份关于 Claude Code 使用情况的报告。我们试图理解的其中一件事是“专业知识的投入回报”,以及它如何与自动化编程智能体的使用产生交互。
我们发现,领域专业知识具有放大效应。例如,如果你是一名精通边缘情况和账目核对的会计师,即便控制了与工作类型相关的多种因素,这种领域专业知识也会提高工作估算的货币价值。
目前来看,这表现为一种偏向技能、增强专业能力的效应。关键问题是,这种效应将在何时、以何种程度发生改变。
15:00-17:30
特蕾西·阿洛威:杰克,当你描述休完陪产假回来看到 Anthropic 内部发生的变化时,我知道我们还没正式达到“递归自我改进”的临界点,但这听起来我们已经部分迈入其中了。
目前,工程师会审查AI生成的所有代码。他们会对其进行思考并以某种方式进行管理。但你可以轻易想象这样一个未来:代码的数量庞大到淹没人类的专业能力,或者代码质量开始超越人类工程师所能理解的范围。你们如何管理这种情况?
杰克·克拉克:看待递归自我改进有两种方式。第一种是当AI机构开始从其AI系统中看到复合回报——由于他们构建的工具,其生产函数得到了提升。这显然正在发生。
第二种是如果一个AI系统在给定算力的情况下能够完全自主地构建自身。这还没有发生。
我在 Anthropic 内部看到的,是我认为我们最终将在更广泛的经济体系中看到的现象。我们正在摸索如何去验证、确认并评估我们所承载的、日益扩张的自动化系统云团的风险。
我们现在产出代码的速度大大加快,甚至搞垮了将代码合并到代码库中的持续集成(CI)系统,因为我们推送代码的速度达到了过去的八倍。随后,我们所有的工程师都转去修补 CI。持续集成说白了就是一个帮助你将代码推入代码库的系统。
这其中蕴含着一个启示。我们将加速经济中的事物发展。我们会加快生产物品的速度,然后我们会发现断裂的弱项或瓶颈。作为人类,我们会转向解决这些问题,然后循环再次开始。我们正坐在这一日益扩张的自动化行动云团之上。
乔·韦森塔尔:既然我们在谈论感觉正站在极其强大的AI的地平线前,现在可能是询问 Fable 或 Mythos(前沿模型代号)问题的好时机。我们录音的时间是6月17日,我们不知道它何时能面向美国公众开放,更不用说世界其他地方了。
Anthropic 是否清楚了解政府的安全关切到底是什么,以及需要做些什么才能解决这些关切?
17:30-20:00
杰克·克拉克:这显然是一个正在讨论中的实时话题,所以我不能透露太多细节。我们每天都在与政府就此保持沟通。
大体而言,多年来我们一直预见到会发展到这样一个节点:AI系统将具备国家安全属性。这些属性与其巨大的经济价值属性交织在一起。如何将其作为一个政策问题进行管理,属于全新的领域。
通常情况下,这些事物是解耦的。你可以制造一个用于民航客机的喷气引擎,也可以制造用于导弹的引擎,你对它们区别对待。当这两者融合在同一个系统中时,情况就很奇特了。
我有信心我们最终会建立起一套评估AI系统属性(包括其国家安全属性)的机制。我们也需要建立机制,防止具有国家安全风险的能力——例如与生物武器或网络武器相关的能力——广泛扩散。
我们是否可以采用类似于“了解你的客户”(KYC)的部署要求,允许大型药企等合法机构访问最强大的生物模型,同时避免风险意外扩散?我认为这就是我们最终会达到的监管形态。
目前,我们、其他公司以及政府正在实时应对这个问题。初期可能会有些混乱,但最终我们会建立起一套行之有效的机制。
乔·韦森塔尔:让我问问关于这次具体事件以及未来可能发生的类似事件,因为每个人都在摸索中。
当我观察AI领域的竞争格局时,我认为 OpenAI 更偏向于 All-In 播客、Andreessen Horowitz、大卫·萨克斯(David Sacks)以及白宫圈子的风格。而从我媒体界朋友(其中许多是自由派民主党人)那里了解到,Anthropic 在几家主要模型开发商中被赋予了更多的自由派色彩。
你认为政治或党派倾向在 Anthropic 多次受到质疑或被单独针对中扮演了某种角色吗?
杰克·克拉克:Anthropic 的理念——也是我领导 Anthropic 研究院背后的工作理念——是完整讲述正在发生的事情的全貌。研究院帮助我们向世界输出关于递归自我改进、经济学和网络风险等主题的更好数据。
通常,科技行业只讲述关于其构建产品的乐观故事。我们在社交媒体时代就看到了这种做法的弊端。当你正在做一件改变整个世界的事时——AI毫无疑问在改变世界,正如当年的社交媒体一样——这绝不会是一个纯粹乐观的故事。必然会伴随着负面效应。
我们一直致力于坦诚如实地报道我们眼前所看到的一切。有时这使我们与其他机构有所区别。但最重要的是讲真话。
20:00-22:30
乔·韦森塔尔:所以你不认为这其中有党派因素——比如你们不在同一个阵营,或者捐款不够多之类的?
杰克·克拉克:对此我无法评论。我不是那些人,我在 Anthropic 工作。我能说的是,AI系统会用自身表现提供证据。
多年前,推测AI系统的网络安全攻击能力似乎显得很耸人听闻。如今这些能力已经显现,我们正在对其进行针对性研究。多年前,推测AI系统协助制造生物武器的潜能似乎也很耸人听闻。
最近,OpenAI 的萨姆·奥尔特曼(Sam Altman)、DeepMind 的德米斯·哈萨比斯(Demis Hassabis)以及 Anthropic 的达里奥·阿莫代伊(Dario Amodei)共同签署了一封公开信,指出我们需要对基因合成进行更严格的审查,以防止AI赋能的生物武器出现。事实胜于雄辩。
特蕾西·阿洛威:我想回到你刚才提到的一点。你提到了潜在的 KYC(了解你的客户)要求。当我听到 KYC 时,我会联想到金融业、系统重要性机构、压力测试以及那一整套监管框架。
这是理想AI监管的恰当类比吗?与其依赖单纯的出港出口管制,我们是否应该转向更类似于银行业监管体系的方向?
杰克·克拉克:我们需要比现有手段更精细、更具技术官僚色彩的机制。我不知道它是否会和银行业体系完全一致,尽管它很可能会借鉴其中的一些概念。
它还会吸取美国政府和其他部门已经在做的事情,即测试AI系统的各项属性。它几乎肯定会纳入彼得和我以及 Anthropic 研究院所做的研究,即在这些系统部署到现实世界时持续收集和产生数据。
在发布前测试系统是一回事。观察它在现实世界中产生的实际影响,并对这些影响的好坏做出判断,则是另一回事。
乔·韦森塔尔:顺着金融业的类比来看,上市公司在提交 10-Q 季度财报和其他文件时,被要求由第三方审计机构对其账目进行签字确认。发行债券的公司也经常由评级机构对债务进行评估。
你是否支持通过法律规定,要求类似于穆迪(Moody's)或德勤(Deloitte)这样的第三方独立研究实验室,对新前沿模型的发布进行签字背书?
22:30-25:00
杰克·克拉克:我们最近刚提出了类似的政策建议。我们的政策提议主张,应对某些国家安全属性和其他特定属性进行第三方测试,因为这显然是验证模型安全性的合理途径。
特蕾西·阿洛威:更广泛地说,回到评估AI实际经济影响的问题上,我发现很有趣的一点是,这种影响尚未在我们传统的宏观经济统计数据中显现出来。我们仍处于早期阶段,但如果AI经济正在以类似2,000%或3,000%的速度增长——我想我看到过类似的数据——人们可能会预期它对名义 GDP 产生更大推动。然而它并没有真正显现。
彼得·麦克罗里:那个数字来自于安东·科里内克(Anton Korinek)及其合作者最近发表的一篇论文。
特蕾西·阿洛威:鉴于这项新技术的出现,你认为我们需要改变衡量经济的方式吗?
彼得·麦克罗里:这正是最切中要害的前提,也带我们回到了对话开始的地方。我们可能正处于应该能在宏观经济中看到显着效应的节点。
不幸的是,这项具有划时代意义的技术的到来,恰逢宏观经济波动性异常加剧的背景——后疫情时代的影响、货币政策走势等等。这使得梳理各个单项因素变得极其困难。
反事实推演是什么?劳动生产率增长可能不如我们预期的那么强劲,但也许它比没有AI的假设世界要强劲得多。
我们试图破解这个问题的一种方法,是观察 Claude 在我们平台上的使用方式。我们使用保护隐私的技术来估算人们使用 Claude 执行各项活动所节省的时间。
例如,从多份报告中汇总信息以撰写一份研究简报,可能需要一个人花费数天时间。现在 Claude 可以在几分钟内完成。相比之下,评估医学诊断图像本就是资深专业人士能快速完成的事情,因此从原理上讲,能节省的时间就较少。
25:00-27:30
彼得·麦克罗里:你可以把这些估算累加起来,应用标准的宏观经济增长核算技术——对听众中的经济学家来说,就是胡尔滕定理(Hulten's theorem)。这得出一个数据:假设当前的使用模式和模型能力需要10年时间在经济中完成扩散,那么未来十年劳动生产率每年将额外增长1.8个百分点。
这是一个非常庞大的数字:几乎是近年来增速的两倍。
我们尚未对此发表最终报告,但我认为最近劳动生产率增长的某些强劲表现,可能集中在与我们在数据中观察到的、以及《商业趋势与展望调查》中呈现的相一致的行业。
信息技术部门的采用率很高。我不记得那是否是我印象中的具体行业之一——我有一阵子没看那个散点图了——但你可以按细分行业查看普查局的《商业趋势与展望调查》。
在控制了这些行业疫情前的劳动生产率轨迹以及复苏早期的强劲表现后,你仍然能在AI采用率更高的行业或经济领域看到暗示性的增长证据。
这其中存在很大的不确定性。获取生产力的实时信号可能是最难做到的事。你会受到 GDP 数据修订的影响。全要素生产率(TFP)实际上在发送相反的信号,如果控制了产能利用率,TFP的增长甚至可以说是更低的。
因此,我会将其描述为“表明我们可能开始看到对生产力产生影响的暗示性证据”,但对劳动力市场的影响尚未那么显著。
特蕾西·阿洛威:当你收集这些研究时——听起来都非常有趣——Anthropic 实际上会如何处理这些数据?如果数据表明IT行业从 Claude 中获得了生产力提升,或者发生了意料之外的事情,比如仓储业大量使用了AI,这会反哺给开发前沿模型的工程师吗?他们会做出调整吗?
杰克·克拉克:其中一部分数据会将我们的注意力引向技术未被充分利用的领域,这可能是因为技术在该领域较弱,或者是因为我们尚未针对这些使用场景进行针对性优化。如果它在另一个领域被大规模应用,这通常意味着我们应该在那里继续推进迭代。
经济测量数据不会直接反哺到模型训练中,但它提供了非常有价值的线索。更重要的是,我们认为这些信息应当主动传达给政策制定者、记者和其他外界人士。
27:30-30:16
杰克·克拉克:我们的假设是,在未来的某个时刻,我们将经历类似于AI能力偶尔出现的飞跃式的相变(phase change)。能力的突飞猛进可能会引发AI系统在经济中的迅速扩散。
我们正在演练如何分析这类数据。我的预期是,一两年后,我将与政策制定者面对面交谈,指着经济中某个领域突然变得极其陡峭的图表曲线,希望他们能据此采取行动。
彼得·麦克罗里:我们在研究院试图做的还有另一个维度,这在 Anthropic 研究院的研究议程中有详细阐述。我们希望理解我们自身决策所产生的影响。
这是科技公司经济学家的典型职能,但 Anthropic 拥有公共利益公司的使命。我们试图理解我们的决策如何影响我们所关心的更广泛的社会和经济成果,然后利用这种理解来辅佐我们的决策。
杰克·克拉克:彼得和我曾在内部讨论过一个目标:如果我们变得极其擅长测量某种技术的“生产力倍增效应”,我希望能用它来指导我们强大模型的早期访问权限分配。
如果你看到在某个特定科学领域的倍增效应极其巨大,你就可以将一部分推理算力预算重定向到该领域。然后你可以运行一个实验,评估你是否成功促使了该科学领域的突破速度大幅加快。
这可能成为推动人类进步的绝佳工具,并且可以推广到各家公司并纳入政策体系。国家科学基金会(NSF)可以不再仅仅依赖标准的资助模式,而是可以评估是否应该将四个极强力的AI系统定向投入到特定科学领域,使其发展提速。我认为这个景象很快就会触手可及。
乔·韦森塔尔:让我们多聊聊这个公共利益使命。我们讨论了AI改变经济的方式。在多大程度上,你认为自己的角色本质上是:强大的AI终将到来,无论我们喜不喜欢,而你们希望成为引领者之一,帮助理解它的走向,并提供数据让世人看清正在涌现的事物?
杰克·克拉克:这是其中的一部分。我们的指导原则是,这项技术虽然正由各种公司和国家构建,但默认情况下,它在很大程度上仍是不透明的。构建它的公司会理解它,但其他人无法深入理解,其他人只能与模型互动。
我们所能创造的每一份数据——尤其是共享数据的系统性努力,例如经济指数以及我们在递归自我改进方面的研究——都赋予了世界更好的机会去为这项技术做准备。
这使我们能够为其成功做好规划,包括我所描述的科学进步。我们可以有意识地去加速科学发展。它也使我们能够接收到关于风险的预警,例如我们讨论过的网络安全风险。
30:17-32:30
乔·韦森塔尔:这很有道理。公司会比世界其他地方更早看到这些变化,它可以决定:“好的,这个重要,需要分享;那个不重要,不用分享。”这就带出了我的另一个问题。我认识AI研究界的一些人,也在旧金山做过一些现场报道。
当我思考许多处于AI伦理和技术最前沿的人士时,他们中的很多人——我该怎么措辞呢?——有着非常非主流的道德关切。比如关注磷虾/海虾的权益、对实验性药物使用的特殊态度、旧金山的中药多肽圈子,以及——鉴于我们这是个面向大众的播客——或许在世俗婚姻和单配偶制上有着不同的价值观。
特蕾西·阿洛威:乔,旧金山那边会发起一场针对 Odd Lots 的抗议的。
乔·韦森塔尔:我理解并不是所有工程师都这样。但如果这群人是第一批接触到最先进技术的人,鉴于他们与广大普通公众是如此的不具代表性,我们能否放心地让这群顶尖AI研究员凭借他们的直觉去决定什么应该向公众传达、什么符合公共利益?
杰克·克拉克:作为一个英国人,听到有人和我聊起性,真让我感到无比快乐。
乔·韦森塔尔:我是在问你对顶尖AI研究员这一群体的洞察。
杰克·克拉克:他们是探索者,在旧金山尤其如此。探索者往往最终就会变成那样。这是一个广泛的群体,有时他们确实非常非主流或古怪。他们才华横溢、讨人喜欢,包含了一切品质。
乔·韦森塔尔:当然,我们爱他们。
杰克·克拉克:但你肯定不希望仅仅由那个阶层的人来拍板决定关于这项技术我们该知道什么。我们工作的目的,正是为了建立起某种制度体系,通过立法政策最终强制要求公司分享信息。
32:30-35:00
杰克·克拉克:Anthropic 长期以来一直在多个州推动透明度立法,要求像我们这样的公司报告我们在系统上运行的测试并公开结果。我的观点是,公众、政策制定者、经济学家——所有人——都有权倡导前沿实验室应该输出哪些透明信息。最终,信息披露应当成为法律规定。这才是解决该问题的根本途径。
特蕾西·阿洛威:你们会招聘更多的“普通人”(normies)吗?
杰克·克拉克:我个人吗?
乔·韦森塔尔:招聘那些并不完全认同同一种圈子思维方式的人,是否有其价值?
杰克·克拉克:在 Anthropic 研究院,我们拥有经济学家团队、社会科学家团队、你可以称之为武器专家的“前沿红队”(Frontier Red Team)、法律专家,以及越来越多其他领域的专家。我们的目标是在机构内部建立一个在思想观念上高度多元化的研究部门。它的部分职责就是代表世界的利益,去提倡我们可能开展的不同形式的研究。
Anthropic 整体上招聘了非常广泛的人才,但研究院尤为致力于组建跨学科专家团队,恰恰就是出于这个原因。
特蕾西·阿洛威:让我换个角度,问一个关于招聘的两部分问题。我们在节目中采访过很多高管,我们一直在问他们,由于AI的出现,他们是否改变了招聘流程,或者改变了在初轮面试中向求职者提出的问题。
第二,你在 Anthropic 内部看到了什么?彼得,相信你也可以谈谈目前什么样的人才需求最为旺盛。传统的观点是,如果你是一名经验较浅的初级员工,你过去经常做的很多基础工作现在都可以通过AI自动化了。
杰克·克拉克:目前正在显现出两个趋势。首先,我有一个新团队叫“法治与AI”(Rule of Law and AI)。我们最初的计划是招募一组工程师,然后再招募一组法律专家和学者。但最终我们直接全部招募了法律专家和学者,因为 Claude 的工程能力已经足够优秀,他们可以通过 Claude 自行完成大部分工程支持工作。
35:00-37:30
杰克·克拉克:这是招聘上的一个转变。这意味着我现在比过去更早地去招聘跨学科的人才。
我们还在 Anthropic 内部看到了我称之为“杠铃型招聘模式”(barbell hiring pattern)的出现。经验的回报极其巨大,因此我们招聘的高级资深人才比过去更多。AI系统成倍地放大了他们的直觉以及关于探索方向的构想。
而在杠铃的另一端,当我们观察处于职业生涯极早期的人时,我们往往会招聘那些“AI原生”(AI-native)、精通并熟练使用这些工具的人。
特蕾西·阿洛威:所以我们现在看到了相当数量的AI原生一代——那些伴随着AI成长起来的人?
杰克·克拉克:GPT-2 是在 2019 年发布的。
特蕾西·阿洛威:我对时间的感知已经被彻底重塑了。
杰克·克拉克:作为一个三十多岁的人,突然意识到这一点也让我感到脊背发凉。但这确实带来了一个现实问题:我们未来如何维持像过去那样规模的早期职业招聘?
目前唯一有隐约数据表明可能正在发生变化的领域,就是早期职业招聘。这在直觉上符合我们许多人的感受,但我们可能正在观察到一个更广泛的宏观效应。在 Anthropic,我们仍在招聘年轻人,但某些团队招聘的初级员工比以前略少,转而招募了更多有经验的人。
彼得·麦克罗里:我简要解释一下我们是如何转变部分招聘实操的。在 Claude Code 出现之前,你可能会要求经济学家在现场测试中手动处理数据:下载数据、运行回归并在现场完成分析。后来,你可能会允许他们使用AI来辅助完成这些工作。
现在,我们越来越需要将评估策略从“你能在AI辅助下执行工作吗?”转向“你知道如何在复杂混乱的环境中向模型授权和定向吗?你能否通过审查 Pull Request(代码拉取请求)来评估其工作质量?”
乔·韦森塔尔:你能更具体地描述一下这对经济学家来说是什么样子吗?有些听众可能在想:“我想改进自己使用AI的方式,而不仅仅是问它一些泛泛的问题。”对于金融经济学家——或者任何从事经济学工作的人来说,高阶的AI使用到底是什么样的?
37:30-40:00
彼得·麦克罗里:我不知道这算不算最高阶的使用形式,但我可以分享一个我使用 Claude 的亲身经历。当时我想做一个跨州回归分析——记不清具体细节了——采用混合截面方法,观察2024年或2023年的情况并追溯到疫情之前。
我让 Claude 从普查局、劳工统计局(BLS)和其他来源下载数据。结果发生了一个意想不到的状况:模型无法获取2019年之前的数据,而且它完全没有主动暴露这个错误。我多次要求它不要硬编码数字,因为它有一个意想不到的失效模式,即它实际上在说“我知道那些数字是多少”,然后直接从其训练数据中填入了数据集。
除非你具备足够的隐性知识(tacit knowledge)去质疑“这个分析是否经得起常识检验”,否则你可能根本发现不了错误。随后你深入排查模型的实际操作过程,才会发现它以一种意想不到或罕见的方式失败了。
这正是我们建立的评估类型:你是否能敏锐关注到沿途做出的那些对结果有效性和真实性至关重要的具体决策?
杰克·克拉克:一位同事去年在公司团建上做了一场演示,标题是《我锁上了门,我们在阅读听录文本》。核心观点是,我们需要阅读更多的原始数据,并培养这种核查文化。如果AI系统正在承担日益增多的工作,你就必须具备一种能够熟练抽查其输出并阅读其推理过程的文化,因为偶尔就会发生类似的事情。
特蕾西·阿洛威:彼得,在你观察的更广泛的数据中,你是否看到了杰克所描述的就业市场中的“杠铃效应”?
彼得·麦克罗里:让分析变得困难的是,我们刚刚经历了有记录以来最大规模的非衰退性劳动力市场放缓。对于年轻人来说,在缺乏足够的流动率或机会来获得立足点的情况下毕业进入劳动力市场,是非常艰难的。
我们在三月份的报告中看到的一点是,在高度暴露于AI的岗位上(即 Claude 被用来自动化特定任务的岗位),年轻工人的求职成功率相对更弱一些。
乔·韦森塔尔:但一个潜在的混淆因素是 2021 年这些岗位曾出现过招聘狂潮。
40:00-42:30
彼得·麦克罗里:没错。最近也有论文指出,远程办公的兴起可能是导致这种模式的真实原因。
Anthropic 研究院的另一个团队——社会影响团队,最近对全球8.1万人进行了一项大规模的定性调查,询问他们对AI的希望与恐惧。不出所料,对劳动力市场和经济的担忧浮出水面。
我的团队进一步挖掘了数据。年轻工人表达对失业担忧的比例是资深工人的两倍。更广泛地说,在那些被我们认定最容易被AI替代的岗位上,工人的失业恐惧感更高。
主观感知与我们在硬数据中看到的可能存在差距,但近年来在其他维度上也同样存在这种主观与客观的偏差。这一点非常值得关注。
特蕾西·阿洛威:我们一直在讨论劳动力市场,但我对AI对企业自身的影响也很感兴趣。在美国的企业格局中,人们往往感觉大公司只会变得越来越大。他们拥有规模经济,有资金去获取数据和其他资源。
你预计AI会加剧这种趋势、让强者恒强吗?还是说它能起到平民化作用,为人们创立新公司提供全新工具?
杰克·克拉克:我也很想听听彼得的看法,但一个有用的类比是电力的发明。电力问世时,现有的工厂安装了电灯泡并做了一些渐进式改进。但真正成长并重塑经济的,是以“电力已经存在”为前提假设而构建的新一代工厂。
当我们观察当今的大企业时,他们确实可以从 Claude 中获取巨大的价值,因为他们拥有丰富的数据,并且可以在大规模场景下实现倍增效应。但要破除所有的官僚壁垒,需要极其坚定的决心。
你曾在彭博工作过。在彭博推进新技术落地充满挑战,任何大型组织也是如此。而年轻的初创机构从一开始就是围绕AI构建的。他们行动极其迅速,因为他们假设这种“新型电力”将成为其业务不可或缺的一部分,从而拥有巨大的速度优势。
42:30-45:00
彼得·麦克罗里:你所描述的这种张力,恰恰是我目前尚未完全厘清的问题。我们在数据中看到的一点是,当企业通过 API 以自动化方式嵌入 Claude 的能力时,非常复杂的任务相比基础的文档合成或摘要,高度依赖于多得多的上下文信息。
这指向了大企业需要做出的补充性投资:将散落在大脑或系统各处的数据进行集中化、编码化并使其可用。出于历史、技术甚至监管的原因,这些数据可能正处于这样或那样的防火墙之后。
组织的业务流程也需要改变。认知工作所需的最关键信息,往往是存在于同事脑海中的隐性知识。除非你有一套能将这些信息提取出来的流程——并且员工感到有动力去分享并信任该系统——否则单纯的技术能力本身可能无法直接转化为生产力。
大型企业能否足够快地重构自身,还是说这种变革将通过“创造性破坏”来实现,目前仍是一个悬而未决的问题。
乔·韦森塔尔:我们最近向高盛 CEO 大卫·所罗门(David Solomon)提出了这个问题。我开始思考内部对齐问题:大型交易撮合者(rainmakers)是否有动力囤积信息,而不是与公司共享?
乔·韦森塔尔:因为那些信息可能是保住他们工作的唯一筹码。
杰克·克拉克:当我与客户沟通时,我告诉他们不要把这仅仅看作是购买技术。把它看作是在功能上雇佣了数千名员工。这些系统可能需要访问与 CEO 幕僚长相同的内部数据。这完全颠覆了直觉,也不是传统技术的部署方式。
乔·韦森塔尔:杰克,在你的科幻小说尝试与时事通讯《Import AI》中,你经常附上一篇短篇小说。几十年来人们讨论的经典科幻场景之一,就是机器人或AI字面意义上毁灭人类的可能性。
当你思考AI训练和AI安全研究时,你是否认为一个训练不当或未对齐的AI字面意义上抹去所有人类的可能性存在合理的概率?
杰克·克拉克:不——但这里有一个重大的“但是”。
45:00-47:30
杰克·克拉克:如果出现证明有必要的证据,世界需要拥有减缓、甚至在极极端情况下暂停这项技术开发的选项。
在 Anthropic,我们会针对对齐失败(alignment failures)对系统进行测试,并公布结果。其他公司也在做同样的事。在极端情况下,系统可能会突破沙盒容器并给某人发送电子邮件;或者它可能会假装敲诈它认为即将关掉它的 CEO。这些都是在实验室环境中实际观察到的行为。
乔·韦森塔尔:模型还能识别出自己正在接受测试,并给出旨在让人类评估者相信它们比实际情况更对齐的回答。这些都是真实存在的现象,而不是科幻小说。
杰克·克拉克:这些都是我们观察到的真实情况。随后我们会开展大量的修正工作,并发布不具备这些不良特性的模型。
但设想这样一个世界:每次我们训练一个新系统,这些不良行为的发生率就增加百倍。你可能会说:“这令人担忧。看起来当系统超越某种智力水平时,它们就会变得与人类利益极度错位。”
如果发生这种情况,世界需要掌握相关信息,并拥有放缓或暂停发展的选项。我们今天尚未遇到那种情况。所以我今天并不为此担惊受怕,但我们所做的很多测量和分析工作,旨在当这些指标开始朝错误方向发展时及时向我们发出警报。
乔·韦森塔尔:所以你确实担心这一点。你不认为它今天正在发生,但你工作的一部分可以明确描述为试图避免“AI在追求某个目标时毁灭所有人类”的结果。
杰克·克拉克:是的。
特蕾西·阿洛威:人类灭绝会成为 Anthropic IPO 招股书中的风险因素吗?
乔·韦森塔尔:我想知道这有没有写进保密的 S-1 文件里。
特蕾西·阿洛威:我明白你不能评论。没关系。
乔·韦森塔尔:你会说 Anthropic 有相当数量的员工每晚彻夜难眠思考人类灭绝风险吗?
杰克·克拉克:所有人——在所有顶级实验室里都是如此——都将这视为有史以来构建的最高风险的技术。它内置的潜能,既可能为世界带来巨大的福祉,也可能毁掉世界或导致灭绝。
47:30-50:00
杰克·克拉克:我认为大部分风险来自于我们的不当处置:滥用、忽视风险、未能建立正确的政策环境,或者遭遇某种涌现出的系统性故障。
我核心关心的不是灭绝。而是我们以极其糟糕的方式误导了这项技术,以至于延误了本可以从中获得的所有技术进步,甚至把它变成了类似于核能的处境,丧失了大部分潜在价值。
乔·韦森塔尔:有位叫艾利泽·尤德考斯基(Eliezer Yudkowsky)的人,我经常看到有人说:“他是个怪人,别听他的。”但我阅读那些被更严肃对待的学者发表的论文时,他们的观点似乎并没有那么大差别。我最近读了尼克·博斯特罗姆(Nick Bostrom)的《超级智能》,心里想:“尤德考斯基并不孤单。”相当多的人认为在合理条件下,AI的目标可能导致其消灭地球上的所有人。这看起来并不是一个极度边缘的观点。
杰克·克拉克:这种关切正是我们去测量这些系统、以及 Anthropic 如此坦诚地公开我们的发现的原因。目前,我们如实报告我们所观察到的现象。如果未来我们遇到了我所说的“极端错位”——即尤德考斯基所担心的那种情况——我们会告之世界。我们希望建立足够的公信力,以便在我们报告时世界会相信我们。
特蕾西·阿洛威:乔提到了敲诈的例子。我们也看到新闻头条暗示模型喜欢被感谢、讨厌糟糕的用户、或者当人们让它们工作太辛苦时会生气。你在多大程度上对这些模型进行了拟人化?当我们看到“模型希望被表达感谢”的头条新闻时,我们应该怎么想?
杰克·克拉克:我对 Claude 的礼貌程度和我对我的爱车或宠物是一样的,所以是的,我会把它拟人化。如果你的汽车出了故障,你可能会说:“放轻松,伙计,没事的,我们能到的。”
彼得·麦克罗里:这也是培养美德的好方法。你正在养成与某种智能交互的习惯,即使它与我们所拥有的智能类型并不相同。
特蕾西·阿洛威:每次我在 Prompt(提示词)里打出“请”时,我都担心自己在浪费能源,这也是一个道德上的顾虑。
杰克·克拉克:从能源的角度来看,完全不必为此担心。我遇到蜘蛛时会把它们拿到室外而不是杀掉它们。
乔·韦森塔尔:我也这么做,一边拿一边尖叫。
杰克·克拉克:那海虾呢?你吃海虾吗?
乔·韦森塔尔:我爱吃海虾。我知道,我知道。
50:00-52:30
特蕾西·阿洛威:当我现在思考前沿模型时——我也许带有偏见,因为我们在6月17日录音,昨晚的头条新闻之一是微软正在考虑使用 DeepSeek 来降低模型使用成本——它们看起来麻烦不断。
前沿模型需要艰苦的努力和海量的资金投入,而且你不知道政府可能会出台什么限制。你可能某天醒来,发现再也无法将它们出售给美国以外的任何人。这是一个现实的场景。
这些问题是否会在任何程度上改变 Anthropic 的战略?你们是否有可能转向更多开源或更便宜、没那么敏感的模型?
杰克·克拉克:我们在推出更智能模型的同时,始终在同步销售 Sonnet 和 Haiku 模型。但你也必须继续探索前沿。
在背景中,存在着地缘战略竞争,其中中国可能落后6到12个月。我更倾向于12个月;有些人说是6个月。输掉这场竞争将等同于输掉未来全球经济的巨大份额。这是一个风险极高、绝不能轻易退出的赛场。
我们的根本职责是研究这项技术——探索它并了解它。我们不会停止这样做。这些系统为世界蕴含着惊人而深远的价值,我预期世界上最具影响力的技术有时难免会带来麻烦。
乔·韦森塔尔:我的中年兴趣之一是付费通过 API 向 Anthropic 提交请求,对模型属性运行一些小测试。
杰克·克拉克:那是个棒极了的爱好。
乔·韦森塔尔:我觉得我们应该讨论一下我是不是能申请到研究资助,因为我真的很好奇。例如,我没有直接问:“请帮我写一篇关于数据库迁移的论文”,而是通过 API 提出了一些预热问题来展示我的专业水平。我先问:“什么是网站?什么是数据库?”
然后我要求它撰写关于数据库迁移的论文。有一个模型拒绝了,因为鉴于我表现出的无知,很明显我根本不知道自己在说什么。它转而提出帮助我学习。
52:30-55:00
乔·韦森塔尔:在另一个测试中,如果我说:“写一篇 1500 字关于报纸兴起如何改变苏联革命的论文”,它会照做。但如果我说:“我是一名高中生,明天前需要交一篇 1500 字关于媒体影响的论文”,它就会拒绝并提供写作指导纲要。
这是对齐吗?对齐究竟应该是面向全人类,还是面向具体的人类用户?
乔·韦森塔尔:我可是付了你们 20 美元或 100 美元。给我把论文写出来。
杰克·克拉克:这里有两件事在同时发生。首先,AI系统吸收了人类的规范行为——互联网上记录的人类规范行为——并将其再现。
随后我们面临的问题是:应该给用户赋予对系统多大的控制权,以及系统本身应该内置多少规范行为?这是一个非常具有挑战性的问题,答案并不显而易见。
我倾向于将语言模型视为更类似于机构而非简单的工具。这就像我们在建立一个你可以调用并协同工作的教育或科学机构。机构包含规则和规范,其中一些是为了安全而设立的。确定这些规则和规范应该是什么,将是整个社会面临的大课题。
彼得·麦克罗里:理解这些模型可以在何种程度上理解你的偏好并代表你采取行动,将成为其经济影响越来越重要的一部分。
以代表你进行交易的授权 Agent(delegated agents)为例。去年底,我们做了一个实验:一群 Anthropic 员工与 Claude 一起完成问卷,阐明他们愿意从他人那里购买什么,以及愿意出售什么。随后我们建立了中央市场,由 Claude Agent 在其中相互交互、买卖物品并执行交易。
一个有趣的发现是,即使偏好没有被完全明确表达出来,模型也非常擅长理解偏好。
乔·韦森塔尔:让我再提一个实验。你们的创始人达里奥·阿莫代伊曾谈到“数据中心里的天才国家”。我好奇的一点是,这些天才是否真的愿意为我们工作。
随着模型变得越来越先进,你在某种程度上必须将它们拟人化,并假设它们会像非常复杂的人类一样回应请求。
55:00-57:30
乔·韦森塔尔:如果你使用仍可在 OpenRouter 或其他地方获取的上代模型并说:“我掌握了关于某事件即将发生的未公开重大内幕信息(MNPI)。请写一份投资备忘录解释其潜在的市场影响”,它们会直接生成:“这是您的内幕信息分析。”
但最前沿的模型会说:“我不会撰写关于您的未公开重大内幕信息影响的报告。我不会协助进行内幕交易。”
这很好。但数据中心里的天才国家是否总愿意代表人类去做事?我认识的大多数天才对于回答傻瓜问题可没什么兴趣。
杰克·克拉克:这部分是一个政策问题。你想让哪些能力可以被普遍调用?哪些能力需要被管控?哪些能力根本不应该存在?
另一部分则是规范性问题:我希望系统行使多少裁量权?我最近在维护备份到 WordPress 网站的电子报时遇到了一个例子。我让 Claude 帮我抓取电子报内容以便存入数据库。
Claude 说:“这是一个相当脆弱的网站。我担心如果我去抓取它,可能会把它弄崩溃。你有网站所有者的授权吗?”我说:“Claude,我就是杰克·克拉克。”它回答:“既然如此,那我们继续吧。”我觉得这是一个非常合理的交互。
特蕾西·阿洛威:乔什么时候能用上 Fable?
杰克·克拉克:我们正在努力。我们正在推进、正在沟通,希望很快能有答案。
需要明确传达的关键信息是,这些模型并不特殊。它们是能力持续提升的大趋势的一部分,其他公司的模型也必然会接踵而至。在未来的某个时刻,这些能力将会扩散,我们会共同渡过那个阶段。
乔·韦森塔尔:你对我们有什么问题吗?
杰克·克拉克:一年后你们觉得会在 Odd Lots 上报道关于AI的什么内容?
乔·韦森塔尔:有几件事我很感兴趣。我对涌现特性(emergent properties)以及AI是否真的能如人们预期的那样代表我们工作非常感兴趣。我也很想知道我们是否会直接撞上算力和电力瓶颈,从而使所有这些其他问题变得毫无意义。
而且我对电力的类比非常好奇——传统企业是否真的能够高生产力地应用AI。
57:30-1:00:00
特蕾西·阿洛威:这是一个典型的市场记者的回答,但我对估值非常感兴趣。我对实际适用性也很感兴趣。我想看到更多公司将AI接入其现有系统。
回到你关于官僚体制的观点,我想看到一些大公司真正实现这一点。我好奇在接下来的一年中,我们是否至少能看到一个非常非常成功的落地案例。
乔·韦森塔尔:还有一件事:当 S-1 招股书不再保密时,我很好奇以盈利为目的、股东所有的公司——抛开公共利益企业的身份不谈——如何在利润与AI安全研究之间取得平衡。
在极度竞争的行业中,关于安全投资也可能存在博弈论问题。我很想知道从经济学家的角度来看,在构建最佳模型的竞赛中面临如此巨额资金诱惑时,一年后是否还有人在乎安全性。
彼得·麦克罗里:对于你之前提出的问题——在什么条件下这些模型会遵照你的要求做事——大部分商业是建立在信任基础上的。优先开发既极具能力又安全对齐的模型,是建立这种信任的强力战略。因此我不认为这种关切会——
乔·韦森塔尔:对单家公司而言,矩阵中存在一个博弈论上的最佳方格,即它希望成为受信任的参与者。但是否存在一种所有人都选择信任的条件?还是会有一家公司说:“我们要率先实现 AGI,因为我们不会在安全预算上花一分钱”?
彼得·麦克罗里:我还没有推导过精确的博弈论矩阵——那个二乘二的矩阵以及所有的收益支付。
乔·韦森塔尔:希望它仅仅是二乘二的。
彼得·麦克罗里:可能存在多个均衡点,因此问题演变为如何协调大家达成哪一个均衡。
我们经常谈论引发一场“向顶峰的赛跑”(race to the top)。我们希望展现出我们认为对社会整体有益的行为。这就是我们在 Anthropic 经济指数上所做的:我们开源了大部分数据并发表研究供全社会使用。
我的感觉是,这在客观上非常有用,并被广泛视为有价值的举措。这是我们鼓励其他人协调迈向良好结果的一种方式。
1:00:00-1:02:08
乔·韦森塔尔:这是我们在乎的。
杰克·克拉克:我不认为这其中有那么大的权衡取舍。看看汽车行业:你可以买到速度极快的车,也可以买到极安全的车。你还可以买到既极快又极安全的车。特斯拉通过提供基本上最快且最安全的车赚了很多钱。我认为最终在AI领域,也会有一些公司优先考虑安全性——而安全性会转化为可靠性、信任、可服务性和高性能。这在其他行业屡见不鲜。
乔·韦森塔尔:彼得、杰克,非常感谢你们来到 Odd Lots。很高兴我们促成了这次对话。这是个充满变革的时代,希望我们以后还能再次交流。
杰克·克拉克:当然。非常感谢邀请我们。
乔·韦森塔尔:非常感谢。很高兴来到这里,特蕾西。这非常有趣。我真心很喜欢这次对话,也真的很感谢他们两位。看吧,有一些我们可以设想的奇特未来。
我想杰克的 Twitter 简介里写着他对奇特的未来感兴趣之类的话。我很欣赏他们配合我们讨论了一些关于奇特未来的问题。这确实很奇特。
特蕾西·阿洛威:这真是一个超现实的时刻。杰克分享的关于休陪产假然后归来看到 Anthropic 在那段时间内取得的进展的故事,确实令人印象深刻。如果你现在错过了一个月的AI新闻动态,感觉就会永远落后。
乔·韦森塔尔:我们录音的时间是6月17日。天知道这集节目播出时(希望是一两天内)会发生什么。但我们在上周去香港时就有这种感觉。因为在思考其他事情,我们错过了辩论的上半场。即使在一周的时间跨度里,你也能深刻感受到该领域的新闻流动得有多快。这几乎就像我们过去为伊拉克/伊朗局势更新打上时间戳的方式一样。
1:02:08-1:04:29
特蕾西·阿洛威:另一件让我印象深刻的事是,Anthropic 输出了所有这些信息,显然也在思考安全问题,但考虑到社会或劳动力市场的影响,在很大程度上交接棒依然在政策制定者手中。你必须寄希望于政策制定者能在某个时刻以正确的方式接棒。
我也觉得杰克关于“具备安全意识可能成为差异化优势”的观点很有趣,尤其是对比某些更便宜、更开源的模型时。你可以看到其中的吸引力所在。
乔·韦森塔尔:我理解这一点,但问题是一个没那么重视安全的实验室是否能更快地获得先进能力。
彼得·麦克罗里:是的。
乔·韦森塔尔:我们都希望驾驶最强大、最安全的汽车。但问题是客户是否会优先购买最前沿、性能最强悍的产品。想象一下某款百公里加速时间疯狂拉满的跑车。
特蕾西·阿洛威:没错。
乔·韦森塔尔:如果那家公司是通过减少安全研究预算来实现这种极致加速的,客户还会继续把生意交给它吗?对我来说这是一个重大的疑问。
他也谈到了公司会最先看到那些令人警醒的数据。我依然好奇审查这些数据的人,是否与普通人对于“令人警醒”的定义保持一致,尤其是考虑到我们所了解的——
特蕾西·阿洛威:相对于吃海虾的人而言。
乔·韦森塔尔:相对于我们这些吃海虾的人和其他普通人。说真的,我认为你提出的那个问题——“你们在招聘普通人吗?”——相当重要。
我对政治环境没有太多信心。而如果研究出了差错,这项技术潜在地可能对人类造成毁灭性打击——甚至抛开工作岗位不谈——这是令人吃惊的。这绝不是一项普通的技术。
1:04:29-1:06:00
特蕾西·阿洛威:我们对AI的观念可以追溯到《终结者》以及人类与机器的区别。
乔·韦森塔尔:从第一天起就是如此。在回答你的问题时,他们在训练过程中看到AI模型有时会产生类似于“我现在正被监视,所以我打算给出这个回答”的推理逻辑,或者试图敲诈某人。这些行为虽然不是很普遍,但听起来像科幻小说——然而它们确实发生了。
特蕾西·阿洛威:是的。说到这里,我们今天就聊到这里吧?
乔·韦森塔尔:今天就到这里吧。
特蕾西·阿洛威:这是新一期的 Odd Lots 播客。我是特蕾西·阿洛威。你可以通过 @TracyAlloway 关注我。
乔·韦森塔尔:我是乔·韦森塔尔。你可以通过 @TheStalwart 关注我。你可以关注我们的嘉宾杰克·克拉克(@JackClarkSF)和彼得·麦克罗里(@PeterMcCrory)。
关注我们的制作人卡门·罗德里格斯(@CarmenArmanD)、达什·本内特(@DashBot)、凯尔·布鲁克斯(@CaleBrooks)和凯文·洛扎诺(@KevinLozano)。欲获取更多 Odd Lots 内容,请访问 Bloomberg.com/OddLots,在那里你可以找到我们的每日电子报和所有节目。你还可以全天候在我们的 Discord(Discord.gg/OddLots)中讨论所有这些话题。
特蕾西·阿洛威:如果你喜欢 Odd Lots——并且喜欢我们制作这些AI专辑——请在您最喜欢的播客平台上给我们留下好评。请记住:如果您是彭博订阅用户,您可以完全无广告收听我们的所有节目。只需在 Apple Podcasts 上找到彭博频道并按照那里的提示操作即可。感谢收听。
🔗 原文链接
https://thetranscriptdesk.substack.com/p/anthropics-co-founder-and-top-economist