Appearance
Hot Chips 首日总结：珍贵的回忆——内存技术的演进与投资思考
原文标题: Hot Chips Day 1 - Precious Memories 来源: Jason's Chips
💡 核心观点
本篇文章记录了 Hot Chips 大会第一天（内存专题）的核心要点与投资思考。随着 AI 推理和解码环节受限于内存带宽，业内正通过内存中计算（PIM）、3D DRAM 以及高带宽闪存（HBF）等多种路线打破性能瓶颈。对于投资者而言，虽然整机成本降低可能短期内对传统 DRAM 厂商带来定价压力，但拥有自主先进逻辑代工能力的存储厂商（如三星）以及创新架构公司（如 d-Matrix）将在定制化 HBM 与 3D 封装时代占据有利地位。高带宽闪存（HBF）虽然在延迟上存在妥协，但在低批次/特定专家并行场景下具备显著的 TCO（$/token）优势，长期可能为 NAND 产业链带来巨大的需求弹性。
📖 中文全文
Hot Chips 是一场为期三天、汇聚了众多顶尖芯片从业者的行业盛会，每天都有各自明确的主题。而今天（第一天）的主题就是——内存（Memory）。
在会议一开始，你听到的第一件事毫无疑问就是当前的“内存短缺”有多严重（笑）。目前内存已经占据了单机柜成本的 70% 左右，显然是大家无法绕过的“房间里的巨象”。
不过从投资者的角度来看，当整个大型行业会议上的所有人都在毕生致力于降低你产品的价格和成本时，这对 DRAM 制造商来说并不算是什么极度利好的信号。
在我对本次会议的报道中，我的初衷并不是立刻站队去点评某项技术究竟能否成功。我是一名投资者，而不是 PhD（博士）。我要做的是通过无过滤的“脑力倾倒”（Brain Dump），尽可能用最通俗易懂的方式将这些复杂的技术呈现给大家。
另外，一个有趣的现象是：每家参展公司都在卖力推销自家独有的技术方案。比如三星（Samsung）大力宣传基于 HBM 的基底芯片（Base Die）和内存中计算（Processing In Memory, PIM），因为猜猜看——谁是唯一一家拥有自己先进逻辑晶圆代工产能的内存巨头？而 SK 海力士（SK hynix）则拼命推销 HBM，因为，好吧，他们毕竟是 SK 海力士。
以下是今日会议的详细内容拆解：
一、 HBM 基础知识（HBM Basics）
虽然大多数读者已经非常了解，但我认为回顾一下基本原理依然很有价值。高带宽内存（HBM）之所以能实现超高带宽，本质上是因为其具备高度的并行性。
因此，为了实现这种高度并行，芯片的裸片（Die）面积必须变得更大，这也是为什么 HBM 的晶圆消耗面积大约是传统 DDR 的 3 倍（虽然这并非全部原因）。
本次大会的名字“Hot Chips”（热芯片）可以说极其贴合 HBM 当前面临的最大痛点：芯片发热极其严重。
这个问题其实非常直观。散热装置通常安装在芯片的顶部而非底部，但产生主要热量的基底逻辑芯片（Base Die）却位于整个叠栈的最底部，这就导致芯片整体温度极高。而在高温下，芯片的可靠性会发生衰减。
以下是一些关于 HBM 的核心数据与技术细节：
二、 内存中计算（Processing In Memory / PIM - 三星）
这是一个极其引人入胜的技术方向。其核心逻辑在于：如果你能在 HBM 的基底芯片（Base Die）上完成一部分计算，那么你需要从 HBM 传输到主逻辑芯片（如 GPU/xPU）的数据量就会大幅减少。设想一下你在做一道复杂的数学题，如果内存端能先帮你计算出一个中间结果，你就只需要把这个中间结果传给主处理器，而不需要在内存和处理器之间来回搬运整道原始题目。这极大地减少了 I/O 传输。
这种技术的出现是必然的，因为算力的提升速度远快于 HBM 内存带宽的增长速度。而在 AI 大模型中，解码阶段（注意力机制与前馈网络 FFN）严重受限于内存带宽，这正是行业最急需解决的痛点。
通过减少传输的数据量，不仅能够降低功耗，还能顺带改善发热（热力学）问题。
目前，HBM 的基底芯片（Base Die）仅仅充当一个被动路由器（Passive Router）的角色。可以说，我们完全可以提高它的工作强度。目前它仅负责与计算芯片对接的通信通道（PHY 物理层）以及 DRAM 叠栈的测试功能。
而在未来，基底芯片可以承担更多任务，例如：将内存控制器从 xPU 上移出（从而为 xPU 腾出更多的计算面积）、集成 RAS 传感器和自我测试功能、直接通过基底芯片连接外部内存，乃至最终在基底芯片内部集成处理单元（Processing Elements）直接参与计算。
这也意味着 HBM 将从一种大宗商品化（Commoditized）的产品，演变为高度定制化的产品。
这对于三星而言显然是巨大的利好。因为三星拥有自己的先进逻辑代工产能，不需要像 SK 海力士和美光（Micron）那样向台积电（TSMC）乞求产能配额，而且三星本身就是内存大厂。使用先进逻辑制程做基底芯片还能有效降低功耗。
三星可以通过缩小 HBM PHY（芯片上专门用于与 GPU 通信的物理 I/O 接口区域）来实现这一点。在先进逻辑制程下，PHY 可以缩减为一个极小的 D2D（Die-to-Die）接口，从而释放出基底芯片上的大量面积。
当然，挑战依然在于高功率密度带来的**局部热点（Thermal Hotspots）**问题。
针对这一点，三星提出了一个非常巧妙的解决方案：PHY 接口发热严重，且 PHY 位于芯片侧边。既然如此，为什么不改从侧面抽走热量，而一定要从顶部散热呢？
接下来是 zHBM。这是面向 2030 年及以后的常态化前沿概念技术。它需要用到混合键合（Hybrid Bonding）等极具挑战的黑科技。
为了追求最终的带宽极限，直接将 HBM 堆叠在 XPU（主处理器）的正上方。
这种架构能大幅降低功耗，这对于控制热量至关重要。同时，为了控制散热，它可能会从 8 层堆叠（8-hi）降至 4 层堆叠（4-hi）。因此，热量问题或许并没有想象中那么棘手。
三、 HBM 封装技术（Packaging - SK 海力士）
我还清晰地记得，MR-MUF（批量回流模塑底填）曾经是 SK 海力士坚不可摧的技术护城河逻辑之一。然而，SK 海力士现在在 HBM4 中也开始转向使用 TC-NCF（热压热固化非导电胶膜）技术了。
整体来看， SK 海力士的这场演讲并没有带来太多全新的突破。他们所展示的更多是自 2023 年以来一直在稳步推进且执行良好的现有技术路线的延续。
四、 3D DRAM（d-Matrix）
d-Matrix 的这场演讲从客观角度来看非常精彩，条理清晰、易于理解。以下是我的解读：
- SRAM：速度极快，但面积过大且成本高昂。
- HBM：容量虽然很大，但带宽依然不够高。
d-Matrix 给出的解决方案是将计算单元直接堆叠在内存之上，他们称之为 3D DRAM。这种方案既没有海岸线（Beachfront）面积限制，从而实现了极高的带宽；同时由于底座依然是 DRAM，因此保留了大容量的优势。
鉴于大部分 AI 推理时间都消耗在受限于内存带宽的解码（Decode）阶段，3D DRAM 的核心卖点就是：在不让你破产的前提下，实现极速的 AI 推理。
这确实非常具有吸引力。甚至有点令人唏嘘的是，当所有人都在绞尽脑汁尝试各种深奥复杂、异想天开的解法时，这家公司直接告诉你：直接把逻辑芯片堆在 DRAM 上就完了。逻辑极其简单——不需要复杂的非多层堆叠（它只有一层），不需要混合键合。就是直接把逻辑单元堆在 DRAM 上。
五、 高带宽闪存（High Bandwidth Flash / HBF - OXMIQ, PRAXMATI）
高带宽闪存（HBF）的容量可以达到 HBM 的 8 到 16 倍。
然而，传统的 $/GB（每吉字节成本）并不是真正的总拥有成本（TCO）。在 AI 时代，大家真正关心指标是 $/token（单位 Token 的成本）。因此你必须权衡它在带宽和延迟上付出的代价——HBF 的带宽/延迟指标比 HBM 差了大约 25 倍。
当你处于高批次（High Batch Size，高吞吐量）和高交互性（极速推理）场景时，内存带宽至关重要。这两者是同一权衡取舍的两面，也是你在推演帕累托最优前沿（Pareto Frontier）时面临的瓶颈。
当你试图突破帕累托前沿时，你会严重受限于内存带宽，此时 HBF 将产生大量闲置的无法被利用的容量。
因此，HBF 仅适用于低批次（Low Batch Size）、即内存带宽需求较低的场景。在这些场景下，你可以使用更少的 GPU 和 HBF 堆栈来提供相同数量的 Token，从而将 HBF 的容量彻底填满。
想象一下小型个人本地部署，或是私有企业的工作负载——即小型的微型机箱（Smol Box），而非大型服务器机柜（Big Rack）。
另一个有趣的用例是专家并行（Expert Parallelism）。在 MoE（混合专家模型）的 FFN 阶段，多个专家模型被分配在不同的 GPU 上。
HBF 在这里表现出色，因为更多专家模型被放置在同一个物理位置，从而大幅减少了节点间所需的通信开销。
对于 HBF，我个人在参会前持非常看好的态度，但在听完报告后，我的心态变得更加理性客观了。如果你看过闪迪（SanDisk）的投资者日展示，他们对此进行了强力的拉升预热。但归根结底，这依然是闪迪。HBF 在物理上确实不具备与 HBM 相同的带宽，这中间存在着必然的技术妥协。
但请思考一下：HBM 生态系统如今已经多么成熟，投入了多少 R&D（研发资金）；而 HBF 才刚刚起步。目前它能存在几个小众的特定应用场景，这本身就已经具备看涨信号（Bullish）。这意味着随着软件生态的成熟、系统设计的完善以及芯片本身设计的迭代，HBM 与 HBF 之间的权衡天平将开始向 HBF 倾斜。
如果这一领域未来真的迎来爆发，NAND 闪存的需求将不仅仅是拉升，而是会迎来爆炸性的增长。想想看：HBM 的晶圆转换比例大约是 9 倍（因为首先需要 SLC 而非 TLC，其次需要像 HBM 那样进行复杂的叠栈）。这为未来的存储产业链留下了巨大的想象空间。
🔗 原文链接
https://www.jasonschips.ai/p/hot-chips-day-1-precious-memories