美光旨在通过其最新一代高带宽内存 (HBM3) 技术实现高带宽、效率和速度之间的平衡。

美光科技最近宣布“业界首款”HBM3 Gen2内存芯片已进入样品阶段。随着生成式人工智能模型变得越来越普遍,设计人员必须克服人工智能内存在效率、成本和性能瓶颈。与传统内存解决方案相比,第二代 HBM3 具有独特的优势,因此可以解决其中一些痛点。

美光的 HBM3 Gen2 内存芯片可以提高密度和带宽,同时降低功耗并提高计算模块的效率。 图片由美光科技提供

最新的 HBM3 内存基于美光的 1β(1-beta)DRAM 工艺节点构建,最多允许 24 Gb 内存芯片堆叠成 8 或 12层3D 堆栈。 不仅提高了纯存储密度,还提高了带宽和功耗性能。 本文深入探讨了这些优势以及美光科技最新的内存产品,让读者了解 HBM3 标准如何实现新的、强大的内存进步。


(相关资料图)

HBM3 标准因对快速、高效内存的需求而兴起

自推出以来,冯·诺依曼架构就一直是芯片设计师的掣肘。对于需要大量内存的人工智能模型尤其如此,内存墙一直是整个系统的瓶颈。

为了应对这一限制,HBM 使用 3D 集成来进一步耦合计算和内存芯片,并提供更高的整体带宽和功效。 HBM3 Gen1 是 JEDEC 最新批准的标准,以 HBM2 和 HBM2E 标准为基础,支持未来堆叠内存芯片的更高带宽和能效。

HBM3 内存使用垂直堆叠芯片来提高内存密度和带宽性能。 图片由 Synopsys 提供

尽管内存标准主要关注速度和带宽,但功耗才是大型部署效率低下的主要原因。 因此,HBM3标准不仅将带宽从3.6 Gbps增加到6.4 Gbps,将最大容量从16 GB增加到64 GB,而且大大降低了存储设备的核心电压和功耗。

美光 HBM3 Gen2:提高每瓦性能

尽管 JEDEC 尚未发布 HBM3 Gen2 标准,但美光等公司正在开发下一代 HBM 设备,以满足新兴应用的内存需求。 美光 HBM3 Gen2 芯片以其 HBM2E 产品组合为基础,出色的性能使其成为带宽密集型应用的有吸引力的解决方案。

HBM3 内存允许将内存芯片放置在非常靠近计算模块的位置,从而降低处理器和内存之间的延迟,并提高内存密集型应用程序的性能。 图片由 Synopsys 提供

就纯带宽而言,HBM3 Gen2 芯片支持超过 1.2 TB/s 的内存带宽,可与 AI 计算核心结合使用,并且12层堆叠比8层容量密度增加50%。 HBM3 Gen2 提高了性能并降低了功耗,每瓦性能提高了 2.5 倍,从而降低了系统的总运营成本。

美光将于 2024 年第一季度开始发售其 36 GB 12层堆叠HBM3。这种使用先进封装和集成技术的更高带宽内存的趋势预示着复杂 AI 模型的未来。

更多维度的内存

虽然并非所有设计人员都会直接使用堆叠内存芯片,但所有领域的工程师都会感受到 HPC 和 AI 应用内存带宽改进的效果。通过提高内存速度和能效,AI 模型和 HPC 集群可以以更低的总成本提供更多优势。

随着官方 HBM3 标准的发展,像美光这样的芯片制造商可能会对该标准的局限性做出迅速反应。 例如,堆叠层数上限可能会限制3D 内存芯片的整体容量和带宽。

标签: