内容监控

Appearance

Hot Chips 第3天 - 辣味（Jalapeño）芯片 ​

原文标题: Hot Chips Day 3 - Spicy (Jalapeno) Chips 来源: Jason's Chips

💡 核心观点 ​

本篇文章总结了 Hot Chips 2026 第3天关于存储、网络及专用 AI 芯片的前沿技术动向。三星通过 PIM 与 CXL 推动近存计算发展以破解内存带宽瓶颈；英伟达与博通在 DPU（BlueField-4）与网络架构（Spectrum-X 多平面与 CPO）上深耕扩展性与能效优化；谷歌（TPU v8）与 SambaNova 则针对训练与推理在 Decode 阶段的差异化需求进行定制化架构设计。最引人注目的是 OpenAI 首次公开的 Jalapeño 推理芯片，其由微型团队借助 AI 辅助工具（ASTRA）与全新类 Rust 硬件语言仅用 9 个月流片成功，这种“AI 原生芯片设计”范式大幅降低了设计门槛，对传统庞大的无厂半导体（Fabless）芯片厂商构成了长期的看空威胁。

📖 中文全文 ​

Hot Chips 第 3 天带来了一则关于某家前沿实验室（Frontier Lab）“辣味芯片”的热辣新闻，他们也是今天 Hot Chips 大会的最后一位演讲者。

Mamma mia（天哪）

在 X 上关注我：x.com/jasonschips 订阅以获取额外 500Tbps 的内存带宽

目录 ​

  1. 三星 LPDDR5X 内存内计算（PIM）
  2. XCENA MX1 CXL 计算存储设备
  3. 博通 Thor Ultra：以太网网卡芯片（NIC）
  4. 英伟达 BlueField-4 DPU
  5. 英伟达 Spectrum-X 多平面网络架构
  6. Cerebras CS-4 / CS-6
  7. SambaNova RDU (SN50)
  8. 谷歌 TPU v8
  9. OpenAI Jalapeño

三星 LPDDR5X 内存内计算（Processing in Memory, PIM） ​

今天我们再次迎来了以内存为主题的演讲。 三星一直在大力推销其内存内计算（PIM）技术。说实话，这非常合理。因为他们确实是极少数能实现这一技术并从中获益的公司。

PIM 简单来说就是在每个 DRAM 内存 Bank 旁放置一个小型逻辑块。 它能够提供 LPDDR5X 8 倍的带宽。加入处理能力后，你可以做到仅向主处理器传输真正需要的数据。

该技术显然既可用于服务器端，也可用于边缘端。

是的，这确实非常酷。虽然不知道三星这种产品的实际成本如何，但你绝对能看到其中的巨大潜力。

XCENA MX1 CXL 计算存储设备 ​

这也是由三星联合展示的项目。CXL（Compute Express Link）是一种内存池化技术，能够提高内存利用率并实现内存的任意扩展。SSD 在软件层面上被视为真正的内存，而 DRAM 则充当缓存。他们称之为“无限内存”是有原因的。总体而言，这对 NAND 闪存极其利好，因为它通过解决部分延迟问题，将 NAND 引入了 DRAM 的内存层级中。

MX1 是一种“内存加速器”近存计算芯片，用于支持这一机制。因此，这又是三星在推销近存计算。虽然不是 PIM，但是是近存计算，而且巧合的是也是由三星代工的（笑）。

更有趣的是他们使用了 RISC-V 架构。这是一个拥有许多小核心的 CPU，其 TFLOPS 算力远不及 GPU，但在某种程度上其编程方式又有点像 GPU？

再次强调，当你拥有靠近内存的处理能力时，就能获得高得多的有效带宽。

Claude 通俗解释（ELI5）：

  • 你的文件都存放在地下室。
  • 本地 DRAM —— 相当于你桌子旁边的文件柜。挺好用，但你能放的东西有限。
  • 通过 CXL —— 你需要更多空间，所以文件搬到了地下室。现在每个问题都意味着你要搬着箱子上下楼梯。既慢又累。
  • MX1 —— 雇一个住在地下室的人，他直接在地下室阅读文件，然后只把最终答案传给你。

博通 Thor Ultra：以太网网卡芯片（Ethernet NIC Chip） ​

博通的网卡（NIC）。网络接口卡（NIC）允许 GPU 直接与横向扩展网络（Scale-out Network）通信，无需经过 CPU。它们利用远程直接内存访问（RDMA）直接访问 GPU 的 HBM（高带宽内存）。这也是光收发器（Transceiver）插入的地方。

英伟达 BlueField-4 DPU ​

DPU 到底是做什么的？数据处理器（Data Processing Unit）并不是一个特别好的名字。我觉得叫“数据中心处理器”（Datacenter Processing Unit）更合适。它本质上就是一个 CPU，用来从主 CPU 中接管并运行基础设施软件工作负载，从而让主 CPU 专注于运行操作系统和应用程序。即负责“网络、存储与安全”。

纵向扩展（Scale-up）、横向扩展（Scale-out）和跨向扩展（Scale-across）将 GPU 在不同规模下相互连接。而内部扩展（Scale-in，使用 DPU）则将 GPU 连接到数据中心资源（如存储和安全设备）。

BlueField-4 由一个 Grace CPU 和一个 ConnectX-9 NIC 组成。AI DPU 与传统云 DPU 的根本区别在于其惊人的带宽。BlueField-4 拥有高达 7.2Tbps 的带宽。

英伟达 Spectrum-X 多平面网络架构（Multiplane Network Architecture） ​

现在到了有趣的部分。

Spectrum-X 是英伟达的以太网横向扩展方案。专为更高带宽和更低抖动（延迟波动）而定制设计。比 Infiniband 受欢迎得多。

多租户（Multi-tenancy）是指单个网络架构同时处理多个任务。Spectrum-X 专门为此设计，在多租户场景下的性能提升了 1.9 倍。

我们知道为什么纵向扩展（Scale-up）需要共封装光学（CPO）。但为什么横向扩展（Scale-out）也需要它？它本身不就已经使用光纤了吗？ 答案是功耗。

CPO 功耗较低，因为它是共封装的，消除了用于纠正从长铜缆轨迹到面板退化信号的 DSP（数字信号处理器）。

接下来进入重头戏：多平面网络架构（Multiplane Networking Architecture）。

传统的横向扩展是每个 GPU 对应一个端口。假设你的交换机有 64 个 1.6T 端口，总带宽为 102.4 Tbps（这正是 Spectrum-X 交换机的实际配置）。你可以玩个巧妙的技巧：将其改为 512 个 200G 端口，每个 GPU 分配 8 个端口，或者更准确地说是接入 8 个网络平面，每个平面分配一个 200G 端口。

这样做带来了几大优势：首先，网络的可靠性大增；其次，需要的交换机数量大幅减少（这对于光模块厂商来说是个坏消息），准确地说是减少了 1.7 倍。

Cerebras CS-4 / CS-6 ​

Cerebras 做了个发布。 没人关心。 “看——看我们的芯片！它太大了！” 芯片变大，提升巨大。 现在推出了包含 3 颗芯片的机柜架构。

好了，不废话了。 他们还发布了 CS-6，它在 SRAM 晶圆上通过混合键合（hybrid-bonding）合成了 DRAM。如果他们能够解决相关的散热难题并使其真正投入工作，他们将成为一家伟大的公司。想想看：拥有惊人的内存带宽，但内存容量为零。如果你解决了容量问题，全世界都将在你手中。

SambaNova SN50 RDU ​

SambaNova 基本认为，Decode（解码阶段）是 AI 推理的瓶颈，而 HBM 带宽是 Decode 的瓶颈，大部分 HBM 带宽都花在了传输既非权重（Weights）也非 KV Cache 的数据上。

因此他们打造了 SN50，使其成为一颗 Decode 强力芯片。配备大量 SRAM，并结合了一些软硬件设计巧妙技巧（整个模型使用单一 Kernel、空间数据流 Spatial Dataflow）。

谷歌 TPU v8 ​

谷歌在 TPU v8 上的做法是分别针对训练和推理打造专用芯片：TPU 8t 和 TPU 8i。你能区分哪个是哪个吗？

提示：因为 Decode 阶段的存在，推理在单位算力下需要更高的 HBM 带宽。 同时配置了大量 SRAM 来提供内存带宽。

看看他们的网络拓扑结构。这是为了最小化跳数（Hops）以降低延迟。 在训练中需要巨大的双截面带宽（Bisection Bandwidth），因此仍然使用 3D Torus 架构，以及大量的 OCS（光电路交换）。

训练需要海量的 FLOPS 和大量的共享内存。 拥有典型的谷歌风格：9,600 个节点 All-Reduce 纵向扩展域，总内存达到 2PB。

OpenAI Jalapeño ​

最后，也是绝对重磅压轴的。

Sam Altman @sama： “我们做了一颗芯片，它很快。” （2026年8月25日）

SemiAnalysis 报道： “OpenAI Jalapeño：优于英伟达 Blackwell。OpenAI 在过去几年里悄悄研发了名为‘Jalapeño’的推理芯片，刚刚在 Hot Chips 上正式公布。关于成功流片的传闻已流传许久，现在我们有了细节……”

他们仅用 9 个月就完成了流片。据称团队极其微小。而且他们首先提到的事情之一就是，ASTRA 帮助他们构建了这个东西。没有芯片设计经验！让我们想想这对该领域的护城河意味着什么。

该芯片专门为投机解码（Speculative Decode）设计，即利用廉价的草稿模型预测多个 Token，然后由主模型进行验证。

他们构建这个芯片同时兼顾了 Prefill（预填）与 Decode（解码），以及吞吐量（Throughput）与交互性（Interactivity），试图在各个维度都达到帕累托最优边界（Pareto Frontier）。

这真的令人印象深刻。

相较于高吞吐量端，它在高交互性端的提升要显著得多。

他们在单个机架中部署了 128 颗 Jalapeño 芯片，拥有超过 1PB 的总内存带宽（类似于 VR200 NVL72）。

但他们做得最聪明的事情与芯片本身无关，而是他们的开发流程。

他们组建了一支微型团队并保持高速运转，相信所有人都会同意这比臃肿的团队好得多。但最重要的是，他们创造了一门全新的硬件语言（！！！），有点类似于 Rust，以便 AI 可以直接写出无错的代码（Out of the box）。

但长远来看，我认为这对任何无厂半导体（Fabless）芯片设计公司来说都是相当看空的。这感觉就像是芯片设计本应有的方式。就像软件开发一样，如果你是一家拥有 2000 名工程师的庞大巨头公司，你注定会被几个能用 AI 氛围编码（Vibe Code）的 19 岁小伙子颠覆，因为软件工程就应该这样搞。一个配备芯片设计 Harness 和自定义语言的小型、精干、AI 原生的团队可以轻松颠覆整个行业。也许巨头们今天拥有人才，但人才总是会被挖走的……

🔗 原文链接 ​

https://www.jasonschips.ai/p/hot-chips-day-3-spicy-jalapeno-chips

Copyright © 2026