昨天有新闻爆出,Micron Technology 正在推动一项新的业务焦点——“云内存业务部”,该部门将打造一种称为 HBM 芯片(高带宽内存芯片)的产品。
HBM 芯片是一种 3-D 堆叠的 SDRAM 微处理器,传统上用于高性能硬件配置。在模型设计领域,我们看到大语言模型获得了更多内存容量,并且能够更充分地利用存储在内存中的上下文数据。
所以,发生这场硬件革命是合乎逻辑的。更有意思的是,参与者究竟有哪些。
HBM 市场
业内人士指出,Micron 是全球领先的 HBM 芯片供应商之一,而 Samsung 与 SK Hynix 也是主要玩家。
那么,究竟是谁在制造这些芯片?
以 Samsung 为例。业内消息显示,Samsung 正在与其竞争对手代工伙伴 TSMC 合作,共同开发 HBM 芯片。
我们已经多次看到,TSMC 作为代工厂在市场中占据主导地位。其他公司利用 TSMC 提供的原始制造能力,并在 TSMC 产能基础上发展各自的方案。这反过来引发了从汽车芯片短缺,到近期与出口管制相关的一些棘手地缘政治问题。看起来,如果全球有十几家代工厂,世界局势可能会好很多。
不过,在制造这些高设计芯片的过程中,Samsung 和 TSMC 是否在与 Nvidia 进行竞争?
其实并非如此。
其他业内报道显示,Nvidia 原本计划从 Samsung 采购这些芯片,但供应商未能达到 Nvidia 的要求。
3 月 20 日的一份新闻稿中,Nvidia CEO Jensen Huang 表示,Samsung “有着举足轻重的作用”,但同时提到该公司尚未正式采购 Samsung 的 HBM3E 芯片。
HBM 芯片:内部构造
首先,HBM 芯片是一种 3-D 堆叠的 DRAM 芯片。
该内存单元紧邻 CPU 或 GPU 放置,以克服延迟问题,并实现低功耗下的高带宽。
我向 ChatGPT 进一步询问了这些芯片的规格,它给出了以下信息:
带宽:每个堆叠 819 GB 每秒
速度:每个引脚 6.4 GB
容量:每个堆叠最高可达 64 GB
散热:更高效能
应用场景:人工智能、HPC、GPU (在此语境下,我们主要讨论的是用于 AI 应用)
ChatGPT 还提供了一张有趣的图示,将 HBM 的构造与一种称为 GDDR6 的游戏芯片进行了对比,后者价格更低且更广泛可用。
你可以从这类公开资源中获得更多信息,了解 HBM 如何按照特定需求进行工程设计。
市场影响
让我们简要看一下这一科技市场的角落,为企业高管或其他关心此领域的人提供一些背景信息。
首先,Nvidia 在过去一年内从历史高点下跌约 40%,最近的交易周期中股价一直徘徊在 100 美元左右,这在表面上归因于美国的出口管制。Huang 及其团队宣称,Nvidia 将因新规定损失 55 亿美元,这一说法近期引起了广泛关注。接着是 Micron,目前股价约 70 美元,约为历史高点的一半,自冬季以来大幅回落。至于 Samsung,其股票在短时间内下跌了约 8%。AMD 等公司同样表现不佳。
正如 AJ Bell 投资总监 Russ Mould 所言(由 Elsa Ohlen 为 Barron’s 报道),“来自 AI 芯片冠军 Nvidia 的警告称,由于美国对向中国出口管制的收紧,公司将面临 55 亿美元的损失,这标志着华盛顿和北京之间不断升级的针锋相对进入了新篇章。”
这就是当前一些引人注目的全新硬件发展动态。从大语言模型的角度来看,背景则是具备持久记忆功能的模型进步。比如,我曾谈论过使用 Sesame 的 AI 聊天伙伴,并观察到“ Maya”似乎在好日子里能记住我作为回访用户的名字。连同链式思维,记忆能力正为我们那些充满活力、备受期待的神经网络朋友和邻居打造更多可能性。