Appearance
与Val Bercovici关于内存市场的又一次对话
原文标题: Another Conversation with Val Bercovici Memory Markets 来源: Fabricated Knowledge
💡 核心观点
本文深入探讨了AI推理中KV缓存（键值缓存）的内存瓶颈问题，指出随着智能体（agent）需求的爆发，万亿级token消耗已成常态，而当前HBM和DRAM的容量远远不够，必须将KV缓存卸载到NVMe等存储层。文章分析了逻辑缓存与物理缓存的差异，以及缓存定价的套利机会，强调内存墙将成为长期瓶颈。此外，介绍了DeepSeek的nGram方案——让模型本身具备内存感知能力，实现条件性内存加载，从而改变现有推理服务器的优化方式。对投资者的意义在于：内存（特别是NAND）价格已大幅上涨，且短期内看不到缓解迹象，内存相关产业链将持续受益。
📖 中文全文
与Val Bercovici关于内存市场的又一次对话关于内存、智能体等内容的一般性讨论作者：Doug O'Laughlin | 2026年2月16日
关于KV缓存的又一次对话
Doug： 欢迎回到Fabricated Knowledge播客。今天我们再次邀请到了WEKA的Val，来谈论内存的话题。上次我们聊得挺全面的，我们讨论了KV缓存、NAND卸载等话题。从那时到现在，市场已经发生了相当大的变化——NAND价格暴涨，所有内存价格都暴涨了。但我认为故事的本质是一样的。我想更新一下信息，和Val聊聊，了解他对整个市场更近期的看法。感谢你的到来。
Val： 很荣幸，很高兴能再次做客。
Doug： 感谢。在我们开始之前，我觉得可以先聊聊Jensen（黄仁勋）在CES上的那番话。当时的大新闻是——人们把它推向了极端，大家都在说“每个GPU需要16TB”。这可能有点BlueField广告的意味，但我们就谈谈对KV缓存市场整体的背书吧。
Val： 当然。就像我们之前说的，去年夏天这个话题还挺让人困惑的。当时生态系统还没有为KV卸载做好准备，智能体的需求也还没有爆发，尽管你和我当时可能已经预见到了。但现在我们已经看到了——智能体正在爆炸式增长，甚至比Claude Code还要早。我们都在过去这个假期被Claude Code“灌输”了。我们看到AI初创公司每天消耗万亿级token已经成为常态。所以需求就在这里，而且很有趣的是，在Jensen将其命名为“上下文记忆市场”之前，不同厂商有不同的叫法——特别是“上下文记忆存储”，因为我们将存储从HBM和DRAM扩展到了NVMe。
Doug： 这确实是个大事。我打算现场试试看SemiAnalysis在OpenAI上花了多少钱。对于一个没有庞大工程团队的公司来说——我们确实有几个程序员——但我们正在非常硬核地采用它。我们每天运行大约5亿个token。
Val： 我看到了很多组织每天消耗十亿token，这个数字还在快速增长。有趣的是，我们昨天刚刚讨论了定价。Opus 4.6快速模式在超过20万token上下文时，每百万输出token是225美元。
Doug： 哇，我说的不对。
Val： 不，不——实际上有两个等级：低于20万token和高于20万token。我刚才想的是高于20万token的等级。
Doug： 好的。我得说清楚——我们公司所有人都使用100万token的上下文窗口。就是那样。效果好太多了，真的很疯狂。我觉得这可能是我们上次谈话的自然延续——我们讨论了如何实现无限上下文窗口。自那以后，变化是“上下文腐烂”问题确实存在，但这并不意味着你不需要更多上下文。事实上，你需要大量的上下文。如果说2023-2024年是关于提示词（prompting），那么上下文管理就是新的提示词，对吧？思考如何智能地管理所有这些上下文。让我们聊聊当前工作流——多轮、高并发——是怎样的。WEKA是怎么做的？也许先给大家做一个基础介绍。
Val： 关键就是并发。从根本上说，没有“单个智能体”这种东西。我一直说，要么没有智能体，要么就是智能体群。智能体群意味着大量并发的子任务，通常由一个或多个编排智能体来协调。这就是我们通常愿意支付Opus价格的地方——但在执行层面，我们有时发现Opus要么更高效，要么显然产生更高质量的token。高并发意味着我们经常访问相同的代码库、相同的文档、相同的库、类似的工具调用——这导致非常高的KV缓存利用率。对于听众来说，这里有一个非常重要的细微差别：已经存在两种KV缓存。一种是逻辑缓存，即你在上下文中的各个并行子任务之间看到实际的复用；另一种是物理缓存，即推理服务提供商平台实际能够做到的。线索是去看Anthropic的提示缓存定价页面。六七个月前，当Claude Code刚推出时，它只是一个非常简单的页面——“使用缓存，更便宜”。现在它变成了一个百科全书，详细说明预先购买多少缓存写入成本最优。你有5分钟等级——这在业界非常常见——或者1小时等级，但没有更高的了。这是一个非常重要的线索。然后，当然，基于你预先购买了多少缓存写入，你可以利用价格差来进行套利。
Doug： 我们来聊聊这个。超过1小时的重要线索是什么？是不是我想的那样——DRAM和NAND的区别？
Val： 它有多层。现在，线索是——如果你不能提供超过1小时的缓存，那就说明你的缓存没有卸载到DRAM之外。你还没有卸载到NVMe。你正在做的是HBM、可能是DRAM池化、可能是CXL，但这基本上是在非常有限的资源上玩“抢椅子”游戏。我们仍然在讨论每个节点最多1到2TB的DRAM。如果使用更大的Blackwell进行推理，8个GPU总共大约有2TB的HBM。当考虑到万亿参数的模型权重和每用户百万token的上下文窗口时，这实在太有限了。
Doug： 它肯定会增加。我知道对于视频方面来说——但我不太相信每个GPU需要16TB。我认为我们还没到那一步。另外，在训练方面，它可能非常稀疏。你实际上不需要那么多，因为你是计算受限的。
Val： 对于传统的前向传播来说，是的。也许这里可以谈另一个基本原理：上下文记忆对于传统预训练来说并不是那么有价值。强化学习不同。我们正在做大量的RL循环，而推理是这些RL循环中关键的中段。但对于传统的预训练，不——上下文记忆存储不是重点。对于RL，特别是对于推理，在智能体时代，上下文记忆存储就是一切。
Doug： 这显然正在成为一个大问题。我想回到这一点，因为说实话，上次我们谈话时我并没有完全理解它。逻辑缓存与物理缓存——你能解释一下这两者的区别吗？
Val： 当然。当一个智能体有多轮对话时，尤其是一个编排智能体有多个子任务，你自然会积累可重用、可缓存的token。我们实际上已经记录了这个过程——我们发布了一个名为KVCacheTester的开源项目（来自WEKA，由Callum Fox编写）。他写了一个可观察性工具，可以逐轮显示任何模型上任何提示的逻辑缓存消耗，因为它只是一个代理。如果你想模拟或重放现有的真实轨迹，他还有一个负载生成器。实际情况是，在系统提示之后，你会自然积累可重用的token——可缓存的token。你会得到极高的可重用性。你刚才说你达到了90%？你可以达到99%。
Doug： 我昨天实际上看了一下，它并不完全是我之前想的那样。它变化很大。非常高的缓存率——我估计平均值在70%左右。确实有些会话中，你可以看到相同的token被反复使用——轰，90%。但当你开始一个新会话或需求下降时，缓存率可能会低得多。综合来看，我认为实际缓存命中率超过50%，可能在60%左右。有趣的是，输入/输出的定价差异巨大。我们正在建模，如果全部未缓存并按原始价格支付，那将是天文数字。仅按列表价支付输入。
Val： 列表价，是的。对于大规模量，每百万输入token大约是5美元。
Doug： 100%。如果你使用缓存读取，那是多少？1美元？
Val： Anthropic的缓存价格是列表价的10%——所以大约是50美分。这是一个很好的10倍差距。
Doug： 这很重要。好吧，我们来具体聊聊。你刚才说了一个短语：“逻辑与实际”。
Val： 是的。我们正在看——希望我们能为大家截图——逻辑缓存正是我们在这里看到的。有波动，但峰值达到90-99%的KV缓存率，因为某些库、系统提示、某些工具非常常见，并且完全有理由在多个子任务之间复用。但你可以预先购买的缓存写入的1小时限制就是线索。它明确告诉你，你的KV缓存将在1小时后被驱逐。如果你没有支付1小时等级的溢价，只买了5分钟缓存写入，你的KV缓存将在5分钟后被驱逐。通常发生的情况是，要么你在智能体运行时去喝咖啡休息，要么编排器有几十或几百个子任务，它们不会同时完成——子任务之间会有足够的延迟时间，很容易产生5分钟的间隙。所以它会驱逐KV缓存。你已经看到了逻辑KV缓存和物理KV缓存的区别。实际上，在每天数十亿token和智能体群的情况下，物理KV缓存——相对于逻辑KV缓存——你一直在驱逐。你肯定在5分钟内就驱逐了。
Doug： 好的，我明白你的意思了。逻辑与物理。我猜实际的token工厂会努力保持HBM的热度，并尽可能快地移动数据。
Val： 是的。而现在，面对如此大的容量和非常有限的内存，这是一场挣扎。实际上，是关于保持DRAM的热度——因为HBM主要用于注意力计算，而DRAM已经充当了好几个月的分层缓存层。我们保持DRAM的热度以便喂给HBM，但我们现在已经完全无法保持任何东西的热度了。这就是问题所在。我们只是一遍又一遍地重新填充。
Doug： 你说的“保持热度”是什么意思？它被持续使用吗？你的意思是DRAM实际上只是持有缓存——闲置等待。它实际上并没有进行读写操作。
Val： 正确。Flash Attention算法——至少是Flash Attention 4；我们不知道Rubin及以后会怎么样——不直接从DRAM计算注意力。它们把数据移入HBM，甚至再移入SRAM，最终才实际计算Flash Attention。DRAM是一个中转区，是一个“准备区”。而现在这个准备区已经超载了。唯一的后备方案是传统的NVMe存储，但它几乎不够快，无法跟上甚至只是填充准备区的速度。所以你只能不停地从GPU本身重新填充、重新填充，消耗大量能源，几乎每几秒钟就让整个机架“亮起来”。
Doug： 我想谈谈CXL。你知道，我是内存机架那一派的。我觉得这很有趣，因为我记得我在22年就写过CXL，当时讨论的是超大规模数据中心。它最初的目的就是为超大规模数据中心提供一个巨大的解耦机架系统。现在说起来很疯狂，因为那个用例对我来说已经不重要了，毫无意义了。而现在CXL已经“僵尸化”，转向了另一个完全不同的愿景——本质上成为这些注意力机制的热机架。
Val： 完全同意。十年前，这是一个经典的“在找问题的解决方案”。没有人——所有人都觉得它很极客、很酷，但无法商业化。
Doug： 我认为这是因为计算的历史就是解耦，尽可能拉大弹性池。有趣的是——我们确实在建立弹性池，但方向相反。一切都受限于物理池容量。
Val： 在很多方面，我们是在一次又一次地“回到过去”。我们在创建独立的网络来尝试访问——这不是大型机——只是真正增强过的I/O来补充计算，避免过度分配或饥饿。我对CXL最早的记忆是：“哇，我们需要把PCIe网络化。”但那是在以太网变得异常快之前。
Doug： 这本身就是一个非常有趣的对话。我认为这不是偶然的——它也是因为AI。以太网因AI而加速，而PCIe将不再是——好吧，走着瞧。
Val： 那个游戏已经结束了。我们现在普遍使用800G端口，1.6T以太网。PCIe Gen 6或7？那已经结束了。
Doug： 我是说，仍然有一些PCIe加速器。但我觉得疯狂的是，我听到了一些关于他们正在做的事情的非常野的故事——比如利用旧的DDR4，基本上使用CXL 1.0规范，直接插入加速器。这有点疯狂。在这种短缺下，我们终于看到了CXL的拉动需求。解决方案终于有了一个要解决的问题。只是非常奇怪。
Val： 现在有一个非常有趣的紧张关系，因为NVIDIA的架构师们会很想要这个——我不是在针对NVIDIA，只是他们文档化得特别好。他们想要一个独立的前端网络（南北向），他们想要一个非常专用、不可触碰的东西向网络（仅用于NVLink）。现在他们又说想要第三个网络，一个基于BlueField的上下文记忆存储网络。在没有共封装光学的情况下，这需要大量的端口。而在短缺的情况下，支付溢价是一回事——至少你能得到它。现在这东西根本买不到。我的思绪一直回到2024年，回到DeepSeek那篇原始论文，里面说：“去他妈的，我们梭哈——我们将在所有时间使用所有端口进行训练、RL、推理。我们将动态分配它们，真正实现端口的弹性，而不是这种硬性的网络分割。”
Doug： 是的，那是DeepSeek V1真正令人印象深刻的创新之一。他们解决了算法方面的问题，这本身就是一个成就。而这是AI最酷的地方——它总是最好的，它一次又一次地重塑一切。如果我猜的话，感觉如果你要连接上下文记忆，你会通过BlueField做到南北向。我知道有第三个网络，但我的直觉告诉我NIC（网络接口卡）已经很近了。未来的方向是什么？我们甚至需要把这些东西连接到互联网吗？
Val： 我认为未来是DeepSeek的方法。对于那些没有员工或专业知识，希望从供应商那里购买一个开箱即用的蓝图的客户来说——他们会过度配置。那会很贵。
Doug： 因为供应商的开销是真实存在的。
Val： 对于一个真正关注毛利率、硬性运营支出的客户来说——每一微秒、每一微分的token成本都很重要——你会采用DeepSeek的方法。你会派一组顶尖工程师去处理。你会在这些网络上做拥塞控制，你会超额订阅而不是过度配置。这样你就能拥有非常好的毛利率——甚至可能在OpenRouter上维持多年的正毛利率。
Doug： 我想说的是——因为每个人都喜欢规划，“哦，这是可能的网络”——但我们知道消息大小并没有完全占用整个比特。有闲置带宽。我的思路实际上转向了电网，每个人都在痴迷于100%利用率。实际上有很多网络没有被利用，创造性地利用它们很重要。
Val： 头部（headers）是存在的，加密是存在的。但是——这是我唯一一次厚颜无耻的推广——我们确实为通过高速网络（无论是专用的东西向还是其他）进行4KB KV缓存卸载而感到自豪。我们达到了95%的线速。仅在一个Hopper级别的系统上——保持谦虚，H200——我们实现了3.12 Tbps的KV缓存流出速度。这达到了CXL及以上级别的速度，这正是将NVMe应用于DRAM/DIMM问题的经济性如此令人兴奋的原因。套利空间巨大。
Doug： 但NAND的价格已经涨了很多。
Val： 供应链的报复。
Doug： 逐月来看，那个数学可能正在变化。实际上，我想把话题拉回DeepSeek。我没时间读nGram论文了。DeepSeek V4可能就在这周发布。
Val： 也许就在我们录制的时候发布。
Doug： 也许在我们录制的时候发布。这是中国模型周，伙计们。
Val： 如果你不熟悉，他们喜欢在周六早上（他们的时间）发布——硅谷时间周五晚上——就是为了扰乱大家。
Doug： 历史上，他们喜欢在节假日发布。总统日是一个好机会——我希望。然后GLM-5昨天发布了，相当不错。Qwen 2.5——我很喜欢。我支持所有这些模型。我很想听听你对nGram的看法。
Val： nGram绝对指明了未来。我们只是不知道它是这个月、这个季度，还是肯定在今年。回到基本原理：如果推理服务器花费了这么多时间——我们甚至还没有讨论SGLang、HiCache、Dynamo、TensorRT-LLM以及AMD会用ROCm做的一切——如果推理服务器把所有时间都花在准备要处理的token上，为什么模型本身不原生地意识到所有这些准备过程呢？为什么模型不原生地意识到现在我们有多层缓存，包括一些有趣的NVMe层，然后直接决定如何即时分配或加载权重，这样我们就不需要占用太多内存呢？也许只加载对于特定专家混合子集激活的权重。让模型将静态的常见token存储在一个层级，而只将动态token保留在HBM中。这个概念是：我们已经有稀疏模型、专家混合、条件计算——而nGram将是条件内存，即时加载。
Doug： 这感觉有点像推测解码（speculative decoding），硬件意识到周围有什么，以便即时拉取数据，并且它被嵌入到硬件中——硬件的问题。在这种情况下，模型就是硬件。因此模型变成了内存感知的，能够了解它能获得的资源。这样想对吗？
Val： 是的，这是最好的描述方式。模型现在变得有内存感知能力。它们不再依赖推理服务器来绕开模型的内存限制。
Doug： 因为现在，你先强行做出基础设施决策，然后模型只能适应它被分配的内存空间——而模型能够弹性地考虑：“我有这么多NVMe、这么多HBM、这么多DRAM。”这真的很有趣。这个机制实际上是如何运作的？这看起来野心很大。而且老实说，这很有道理，因为我开始相信，在某种程度上，模型是硬件的延伸。
Val： 这正是发展的方向。而且这是DeepSeek很自然的方法，对吧？总是从基本原理出发。看看所有有限的可用资源——他们现在一定在笑，因为整个世界资源都有限，不仅仅是中国——然后说：“让我们绝对地提取一切我们能提取的。”如果我们能在注意力算法和模型内的前向传递中更高效地做到这一点，为什么要把这个优化责任卸给推理服务器在测试时做呢？我们不仅在训练时做，甚至在推理前就做。这对位置嵌入等等有很多影响。
Doug： 是的。V4，我们等着瞧。
Val： 我们会看到的。论文已经出来了，所以我们看看他们是否兑现。
Doug： 我对此很感兴趣。说实话，最前沿的竞争已经比以往任何时候都更加接近。我认为目前Anthropic在精神上处于领先地位，OpenAI正在回应，但我觉得OpenAI有整整一年他们的能力主要集中在推动基础设施和总容量上，而不是推动技术前沿。所以现在所有人都赶上了。我对这个nGram的事情很感兴趣。我很期待关注局势。
Val： 你得习惯一个事实：一年前OpenAI是明确的领导者。现在他们不是了。今年将是一个或多个中国模型进入顶级混合队列的年份，OpenAI和Anthropic将不再是明确的领导者。
Doug： 我们已经看到了“锯齿形的前沿”。Gemini正在以OpenAI曾经的方式持续抢夺消费者使用量。Gemini在西方视频和图像方面做得很好。Opus显然在编码方面有巨大的领先优势——那里发生着一些非常特别的事情；你听到每个人都在这么说。而在中国，视频模型非常疯狂。它们可能已经达到最前沿了。Seedance目前在我看来绝对是第一。我们开始看到一些有趣的事情——我对来自Kimi的智能体群工作非常着迷。
Val： 我认为这些模型是nGram的前奏——本质上是将模型外部的群集行为引入到模型内部。
Doug： 我们等着瞧。有趣的是，这个群需要在16节点的H100集群上运行。哇，只是为了启动这个东西。
Val： Bill Gurley说得很好——这是一项“王者运动”。归根结底，除非你运行桌面端本地量化模型，否则你必须成为一个大型推理提供商才能参与这个游戏。
Doug： 这很疯狂。为了使用先进的能力，我们谈论的是价值几十万美元的计算能力，只是为了做一些前沿的事情。
好的，我觉得我覆盖了大部分话题。我漏了什么吗？
Val： 不知道我们是否想谈谈对SaaS的影响。我有一个简单的想法：我们将会看到每个座位2万美元的智能体，因为我们去年看到了每个座位2000美元。但现在看起来不是这样。我们实际看到的是这些疯狂的token成本——每天数千美元的API成本。
Doug： 我认为归根结底，大家不想要按座位计费的模式。这很有趣——我们走着瞧。如果按座位计费模式继续有效，感觉它会极度通缩。这是我一直在思考的一个“大智慧”观点——过多的量会导致通缩。
目前，SemiAnalysis的所有人都在使用Opus 4.6的快速模式。快速模式下上下文窗口限制是20万。我们每周都有一个“氛围编码”比赛——谁的项目最好就赢。所以是的，我们肯定在努力提升每个人的智能水平。但这有点有趣——也许这就是我想谈论的。每当这些新模型出来时，每个人都会说：“哦，它们变得好笨。”这是因为量化，这太痛苦了。
Val： 是啊。
Doug： 这是关键话题。我真的希望有足够的容量来做全精度——至少是FP16。
Val： 在推理时这不是计算问题——这是内存问题。关键是这一点。如果你减少了冗余预填充的数量——把那个O(N)操作（其中N可以是数千或数百万）减少到一次——至少对于每个智能体群会话，因为你已经预填充了所有该智能体群中所有智能体和子任务需要的token——你现在就节省了大量加速器计算时间。你可以重新分配这些GPU。我们有一个小滑块演示，你可以通过减少预填充节点的数量来增加解码节点的数量。最终你得到了更多可用的并行解码能力，从而改善延迟并提高token吞吐量。
Doug： 是的，绝对是这种规模的横向扩展版本。
Val： 这意味着你实际上可以负担得起保持高精度FP8，甚至如果你真正想要的话还可以是FP16，因为你现在不再在预填充端反复地进行所有这些矩阵乘法了。
Doug： 我刚想问——因为这在投资者圈里肯定是一个讨论话题——内存正在享受它的美好时刻。而且我看不到任何短期内停止的迹象。你认为所有价值都只累积到内存吗？我的意思是，我以前见过这种故事。内存显然是必不可少的——KV缓存及其扩展就像是Transformer的原罪。我们显然在挣扎。但这种情况会持续吗？
Val： 这是关键问题。如果我们处于一个Transformer“吞噬世界”的时代——扩散Transformer混合、Mamba本质上仍然是优化过的Transformer——随着我们继续优化，如果我们不希望每次模型发布都出现Gartner炒作周期的时刻（推理提供商得到非量化版本进行评测，所有影响者和基准测试者得到全精度版本，然后你和我一周后得到量化版本）——如果我们想避免这个循环，那么是的，内存将在很长很长一段时间内占据统治地位。内存解决了这个问题。内存让你拿回了预填充节点，这样你就可以做全精度，而解码在这一点上不成问题。你能够获得所有世界最好的部分。内存墙就是那堵墙——你必须扩展内存墙，而现在多数人做不到。
线索将是OpenRouter。我喜欢OpenRouter。他们刚刚跨过了——我不知道每天多少万亿token。
Doug： 我认为是每天1万亿。
Val： 没错。他们现在是行业的一个真实代理。OpenRouter在这方面一直走在前列——他们为每个模型和每个提供商提供输入/输出定价，加上缓存读取和缓存写入定价。很少有开放模型提供商甚至把缓存读取作为一种产品来提供。而且几乎没有——也许有一两个例外反而证明了规则——有任何缓存写入功能或缓存写入定价。当那两个列被填满时，我们将看到性能和效率的爆炸性增长，以及更高质量的token，因为人们将不必做出那种权衡。
Doug： 有道理。酷——还有什么想谈的吗？
Val： 下次播客再聊吧。有很多要覆盖的。
Doug： 今天聊得够多了。感谢收听我们高能量的对话。感谢你的到来，Val。
Val： 我们很快再聊。期待。再见。
关于本集的讨论
评论 转发
Fabricated Knowledge让我们了解更多关于世界上最重要的制造产品。有意义的见解、及时的分析，偶尔的投资想法。
订阅收听方式：Substack App / Spotify / RSS Feed
本期嘉宾Doug O'Laughlin
近期剧集Will Eatherton: How Cisco Plans to Compete in the AI Datacenter (Oct 27, 2025)A Conversation with Val Bercovici about Disaggregated Prefill / Decode (Jul 7, 2025)An Interview with Wes Cummins, CEO of Applied Digital (Jul 9, 2024)……更多
准备获取更多内容？订阅© 2026 Doug OLaughlin · 隐私 · 条款 · 通知从Substack开始 获取AppSubstack是伟大文化的家园
🔗 原文链接
https://www.fabricatedknowledge.com/p/another-conversation-with-val-bercovici