Appearance
Hot Chips 芯片大会第 2 天总结：(C/G)PU 篇
原文标题: Hot Chips Day 2 - (C/G)PU 来源: Jason's Chips
💡 核心观点
本篇文章详细梳理了 Hot Chips 大会第二天的各家芯片巨头（Nvidia、AMD、Intel、ARM、IBM、富士通）在 CPU 与 GPU 领域的最新架构发布。英伟达凭借 Vera CPU 与 Rubin GPU 押注极致单线程低延迟与硬件级推理优化（如自适应稀疏化与 NVLink），巩固其系统级工程生态的竞争壁垒；AMD 则通过 Instinct MI400 靠硬核规格堆料（更大内存容量与扩展带宽）试图超越英伟达；Intel、ARM 与 IBM 等也在特定领域展现各自的架构探索。这对投资者的核心启示在于，AI 硬件竞争正从单一芯片算力比拼，加速转向面向 Agent 时代的系统级扩展性、内存带宽、互连协议以及特定工作负载的效率对决。
📖 中文全文
Hot Chips 芯片大会确实名副其实地热。 一个有意思的冷知识：斯坦福大学的宿舍是没有空调的。斯坦福为 Hot Chips 的参会者提供学生宿舍住宿，因此在会议期间我一直住在宿舍里。但我万万没想到的是，这所拥有 500 亿美元捐赠基金的知名学术机构居然连空调都没有。所以在整个 Hot Chips 大会期间，我一直处于酷热之中。当人体处于过热状态时，写东西确实相当艰难。
今天的议程全部围绕处理单元（PU）展开，涵盖中央处理器（CPU）和图形处理器（GPU）两种类型。不知不觉中，这篇总结变得内容极其冗长。
IBM Z & LinuxONE 处理器 CPU
我因为迟到只听到了后半段，虽然一开始有点茫然，但我依然会尽力梳理相关内容。 IBM 正在大举发力 CPU 领域！他们正在打造基于 ARM 架构的 CPU。确切地说，它采用了双指令集架构（Dual ISA），能够在硬件层面、同一个核心上原生执行 z/Architecture 与 Arm v9.3 两种指令集。据称对于一款 ARM CPU 而言，其单核性能非常抢眼。这是一款非常面向未来的下一代产品，因此不会很快落地，有点类似于 ARM AGI 的定位？
Intel Core Series 3 Wildcat Lake CPU
这是一款面向个人电脑（桌面端）的芯片，并非数据中心服务器机架上的那种大芯片。该芯片在今年早些时候就已经发布。
这是 Intel 针对入门级产品推出的 Ultra 系列架构，基于 Intel 18A 制程工艺打造，并在类似硅中介层的架构中利用 Foveros 技术进行 Chiplet（小芯片）封装。不过我个人对非 AI/数据中心相关的产品并没有太大的兴趣。
Nvidia Vera CPU
这是今天第一个真正有趣且与 AI 概念股直接高度相关的演示。 英伟达的演示 PPT 风格依旧非常“英伟达”，充满了各种典型的英伟达式表达。
Vera CPU 的核心卖点是极致的单线程性能。英伟达的赌注在于：Agent（智能体）工作负载需要的是极低的延迟，而不是像桌面多任务处理那样过于看重吞吐量。
其核心目标是加速常见的 Agent 操作，例如无头浏览器（Headless Browser）的使用。
因此，英伟达做出的权衡取舍非常简单直接：打造一个超大核心（BIG CORE）。
他们引入了一套名为“空间多线程”（Spatial Multi-Threading）的机制（恰好缩写也是 SMT，但不同于传统的同步多线程）。空间多线程意味着不同的线程使用被隔离的硬件资源，从而具有确定性，能够为你提供更好的单线程性能。这就是大核心带来的红利。
同时，他们还通过功耗更低的核心与 LPDDR5X 内存设计了功耗优化方案。 该芯片整体由 6 个 Die（裸片）拼装而成，中央最核心的部件是巨大的 Olympus 核心。
然而，凡事皆有权衡，天下没有免费的午餐。你需要仔细审查他们公布了哪些规格、又隐瞒了哪些规格，并将其与 AMD EPYC 和 AWS Graviton 进行对比：
- 传统 SMT 在统计学意义上效率更高，因此 Vera 是用绝对性能/可靠性去交换了整体吞吐效率。此外，大核心也占据了更大的芯片面积。所以 Vera 的总核心数大约只有 EPYC 或 Graviton 的一半。
- LPDDR5X 功耗更低，但它是直接焊接在板子上的，这意味着相比插拔式 DIMM 内存存在容量上限，且可维护性更差。
富士通 FUJITSU-MONAKA ARM 架构 CPU
这是日本公司尝试打造 CPU 的最新成果。
他们的核心宣传点是不在所有部件上都盲目采用 N2（2nm）工艺，而是进行拆分：计算核心 Die 采用 N2 工艺，SRAM 和 I/O 采用 5nm 工艺，然后通过混合键合（Hybrid Bonding）技术将这些 Chiplet 连接起来。
显然，这种设计对成本和功耗进行了专门优化。 不过，计算核心 Die 被分布在芯片的两侧，这也引发了人们关于核间延迟（Core-to-Core Latency）的有趣疑问。 总而言之，简要概括就是：一款便宜的日本芯片。
ARM AGI CPU
ARM 终于开始亲自造芯片了，而不再仅仅是向外授权 IP。以往你可以使用他们的 Neoverse 核心来开发自己的芯片（不过由于某些原因，人们并不特别推崇 Neoverse）。因此，他们开始利用自己的 IP 来制造自研芯片。这其实算不上全新消息，该计划在今年春天就已经公布，当时引发了大范围讨论，之后大家就逐渐淡忘了。
取决于你对 ARM 的态度，你可以把这款芯片评价为“均衡”（或者“无趣”）、“务实”（或者“平庸”）、“全面”（或者“中规中矩”）。他们没有像 Intel 或英伟达那样对未来市场形态下明确的赌注。更重要的信号在于：ARM 已经正式开启了自己造芯片的历程。
Intel Diamond Rapids CPU
Intel 在这款芯片上采用了扇出型互连织物架构（Fan-out Fabric Architecture）。基本上就是用一堆计算“构建块”（Compute Building Blocks）围绕着中央的 I/O 与内存“互连枢纽”（Fabric Hub）。
这种设计扩展性极强，因为你可以轻松在单个芯片上添加更多的计算构建块。
由此带来的结果是，它拥有极其夸张的规格：1.28GB 的超大缓存、256 个核心和 512 个线程。 其核心数是 Vera（88 核）的近 3 倍，也超过了 EPYC/Graviton（192 核）。在缓存方面，其单核末级缓存（LLC）高达 5MB，而 ARM AGI 为 2.9MB，Vera 为 1.9MB，Graviton5 为 0.94MB。
这款芯片与英伟达的 Vera 截然相反。Intel 显然也对市场做出了自己的判断，但这并不意味着他们是针对另一种工作负载——他们声称这也是为了 Agentic（智能体）场景！只是两家厂商推销的参数指标侧重完全不同。
此外，该芯片的所有组成部分（包括封装）均由 Intel 自行制造，完全没有依赖台积电（TSMC）。
NVIDIA Rubin GPU
很有意思的一点是：Rubin 相比 Blackwell 的性能提升，在高互动性（超快速度）侧的表现远比在高吞吐量侧更显著。低互动性场景下吞吐量提升了 2 倍，而在高互动性场景下吞吐量暴增了 30 倍。这意味着一年后我们将会看到生成 Token 的速度大幅跃升。
这可能是因为像 Groq LPX 这类架构将解码（Decode）阶段解耦并大幅加速。当你追求极致速度且受限于内存带宽时，超高速的 SRAM 就成了必选项。
“没有人会单买单用一颗芯片。” “关键在于 AI 工厂”——这是典型的英伟达式名言。从内心深处讲，我非常认同这一点。
Rubin 带来了**自适应稀疏化（Adaptive Sparsity）**技术。相关背景是：量化（无论你的模型权重是 FP16、FP8 还是 FP4）实际上与硬件强绑定，需要硬件层面的原生支持。在 Blackwell 上，英伟达完成了 FP16 → FP8 → FP4 的演进，但你无法直接进一步降到 FP2，因为那会直接对可怜的模型造成“脑切除”式的破坏。
因此，他们发明了自适应稀疏化。其基本原理是截取模型中趋近于零的部分并予以丢弃，将体积直接减半，并用元数据（Metadata）进行替代。 这里的 NVFP4 实际上是 FP4 的一种低量化变体，介于 FP8 和 FP4 之间，并结合了自适应稀疏化技术。 这一点至关重要，因为软件平台的一部分是与硬件架构世代深度集成的。
他们还在硬件层面原生支持了稀疏注意力机制（Sparse Attention），即只对有价值的 Token 计算注意力，而不是对每一个 Token 进行全量计算。这基本上是将一堆原本在软件层面的推理优化技巧直接固化到了硬件之中。
NVLink 依然是英伟达极其强大的竞争护城河。
超大规模的单机扩展域（Scale-up Domain）允许你的机架在曲线的高吞吐量（低成本 Token）端展现绝对优势（通过专家并行机制）。扩展域越大，支持的 Batch 大小就越大。这与 Groq LPX 的路线完全相反。
机架的某些特征值得注意：目前尚无光互连（No Optics）、800VDC 直流供电（Sidecar 侧柜）、尽量减少线缆使用、无浪费的高效散热，以及利用电容来平滑功率波动。
AMD Instinct MI400
AMD 打造了一款“折扣版”的 NVL72 机架，但实际性能或许一点也不打折。
AMD 的机架在几乎所有规格参数上都击败或追平了英伟达的 VR200 NVL72。FP4 FLOPS 算力和 Scale-up 扩展带宽持平，而在其他所有指标上 AMD 均实现超越。
尤其是在内存容量和 Scale-out（横向扩展）带宽方面表现突出。两者的机架功耗几乎相同，因此从技术上讲，AMD 在每兆瓦（per-MW）性能密度上实现了更高的突破。AMD 在业界小圈子里的这种“逆袭”正引发不少讨论。
但英伟达拥有而 AMD 依然缺失的核心优势是 NVLink。一套与所有 GPU 共同深度设计（而非通用开源标准）的高效协议至关重要，因为在进行 All-to-All 密集的通信时，整个系统的速度取决于最慢的那个节点，因此你必须彻底消除尾部延迟。
另外还有 CUDA……不过英伟达现在也不怎么频繁挂在嘴边了（你懂的）。
请注意英伟达与 AMD 演示文稿之间的关键差异：英伟达完全聚焦于系统级性能输出，而 AMD 的 PPT 基本上就是一张巨大的规格参数对比表。仔细想想这很符合逻辑：英伟达作为既有霸主，拥有一切围绕其软硬件协同设计的模型与软件生态，因此可以利用其成熟度去追求性能的最大化；而 AMD 想要追赶，唯一的突破口就是在纯硬件参数上实现碾压。
接者他们展示了系统级架构：即他们的 Scale-up Pod 架构。每一个抽屉（Tray）包含 4 颗 GPU 和 1 颗 EPYC CPU，连接到 Scale-up 交换机。
AMD 表示下一代产品将引入光互连，这与 Rubin Ultra 的路线规划一致。
目前 AMD 尚未采用 800VDC 供电。此外 AMD 的机架外形偏宽胖，而英伟达的机架设计则相对修长。
Intel Crescent Island GPU
这是 Intel 针对数据中心 GPU 领域的全新尝试。
这是一款无 HBM 内存、风冷、PCIe 扩展的数据中心 GPU！我试图思考到底谁会使用这种产品，但一时间完全想不出适用场景。
直觉上，它似乎适用于对延迟不敏感、但对成本极其敏感的工作负载。但如果是为了成本，你显然会希望采用海量批处理（Batching）；而要做到这一点，你需要大规模的 Scale-up 扩展域，这是仅靠 PCIe 扩展无法达到的。
难道是用于本地/小型企业私有工作负载？ 不过等等，我想明白了：如果你只将这颗芯片用于 Prefill（预填阶段），你就不需要那么高的内存带宽；然后配合像 SambaNova 那样的 SRAM 架构模块来负责 Decode（解码阶段）。虽然这会导致 Tokens 变成高互动性且昂贵，但逻辑上可行。此外它配有 480GB 的 DRAM，几乎是单 GPU 传统 HBM 容量的两倍；而且它不需要抢占台积电的产能。