高带宽存储器（High Bandwidth Memory，HBM）是一种基于3D堆栈工艺的高性能DRAM，由超微半导体和SK Hynix发起。这种存储器适用于高存储器带宽需求的应用场合，如图形处理器、网络交换及转发设备（如路由器、交换器）等。
HBM利用3D堆栈工艺，将多个存储芯片垂直堆叠在一起，以实现更高的存储容量和更快的存储带宽。这种设计使得HBM能够提供比传统DRAM更高的数据传输速率。
具体来说，HBM通过在垂直方向上堆叠多个DRAM芯片，将它们的接口和控制器结合在一起。这样，每个DRAM芯片都可以作为一个独立的存储单元，同时也可以与其他芯片共享数据。这种设计使得HBM能够实现更高的数据传输速率和更大的存储容量。
由于HBM具有高带宽、大容量和低延迟等优点，因此它被广泛应用于需要高存储器带宽的应用场合，如高性能计算、数据中心、网络交换及转发设备等。在这些应用场合中，HBM可以提供比传统DRAM更高的数据传输速率和更大的存储容量，从而提高了系统的整体性能。
此外，HBM也被用于图形处理器中，以提供更高的图像渲染速度和更好的游戏体验。在人工智能和机器学习领域，HBM也被广泛应用于各种算法和模型的训练中，以提供更快的计算速度和更好的训练效果。
近期，英伟达披露H200规格来看，H200 基本上看起来像 GH200 的 Hopper 一半作为自己的加速器。当然，这里最大的区别是将 HBM3 换成 HBM3E，这使得 NVIDIA 能够提高内存带宽和容量——以及 NVIDIA 启用了第 6 个 HBM 内存堆栈，这在最初的 H100 中被禁用。这将使 H200 的内存容量从 80GB 增加到 141GB，内存带宽从 3.35TB/秒增加到 NVIDIA 初步预期的 4.8TB/秒——带宽增加约 43%。
根据总带宽和内存总线宽度，这表明 H200 的内存将以大约 6.5Gbps/引脚的速度运行，与原始 H100 的 5.3Gbps/引脚 HBM3 内存相比，频率提高了约 25%。H200 还将保留 GH200 不寻常的 141GB 内存容量。HBM3E 内存本身的物理容量为 144GB——以六个 24GB 堆栈的形式出现——但 NVIDIA 出于产量原因保留了部分容量。因此，客户无法访问板载的所有 144GB，但与 H100 相比，他们可以访问所有六个堆栈，并具有容量和内存带宽优势。
近日，据相关报道，SK海力士和英伟达正在开展技术合作，通过将HBM4内存与处理核心集成来重新设计GPU架构。这项技术计划旨在改变现有的逻辑和存储设备互连框架，以及半导体行业的制造工艺。
SK海力士与英伟达的这项合作计划从根本上改变GPU的设计框架。通过将HBM4内存直接集成到处理器上，而不是通过传统的中介层或封装方式，这项创新技术将大大提高数据传输速度和处理效率。
在具体实施上，这项技术需要解决的关键问题包括如何将HBM4内存与处理器进行无缝集成，以及如何管理由此产生的散热和同步问题。为了实现这一目标，SK海力士计划利用台积电的先进晶圆键合技术，将HBM4内存与逻辑芯片完美结合，实现单芯片设计。
扩展阅读：华山论剑：2nm芯片工艺谁更强？
此次招聘具有CPU和GPU等逻辑半导体专业知识的设计专业人员，标志着SK海力士致力于将HBM4内存堆叠到处理器上。这种技术与传统的互连和制造实践不同，可能导致铸造行业标准程序发生根本性变化。
目前，HBM 堆栈集成了多个存储设备，通常在 8 到 16 个之间，逻辑层用作中央集线器。这些堆栈位于转接板上，通过 1024 位接口连接到 CPU 或 GPU。SK海力士的策略是将HBM4堆栈直接放置在处理器芯片上，从而消除中介层的使用。这一概念与AMD的3D V-Cache技术在其直接CPU芯片集成类似，尽管HBM4速度较慢且更具成本效益，但预计会提供更高的容量。
SK海力士与包括英伟达在内的无晶圆厂实体正在开展合作，重点关注HBM4集成的设计方法。SK海力士利用台积电的晶圆键合技术，旨在将其HBM4存储器与逻辑芯片统一在单芯片设计中，从而在一个芯片中实现存储器和逻辑半导体的复杂同步。
拟定 HBM4 存储器接口将为 2048 位，这为中介层设计带来了复杂性和更高的成本。直接连接存储器和逻辑的一个重大挑战是热管理。两种逻辑处理器（如 Nvidia 的 H100 和 HBM 内存）的高功耗和热输出可能需要先进的冷却解决方案，包括液体和浸没式冷却系统。
韩国科学技术院电气与电子系的Kim Jung-ho教授表示，克服这些散热问题可能跨越几代产品，这对于使HBM和GPU在没有中介层的情况下高效运行至关重要。
如果您看完有所受益，欢迎点击文章底部左下角“关注”并点击“分享”、“在看”，非常感谢！
精彩推荐: