本文章是由 AI 生成的技术解析与实现示例。所引用的代码和步骤基于第一手资料构建，但未经笔者在实机上进行运行验证。根据环境和版本的不同，实际运行结果可能会有所差异。
在下一代 AI 基础设施中，为了支撑大规模模型和复杂的推理工作负载，不仅需要强大的计算能力，优化内存带宽、芯片面积以及能效也至关重要。NVIDIA 发布的“NVIDIA NVLink Fusion”以及基于定制 HBM 的裸片技术“NVHBM”，为超大规模数据中心和 AI 原生企业将自主定制的 AI 加速器（XPU）或 CPU 整合到 NVIDIA AI 基础设施平台中奠定了重要的基础。本文将根据官方博客的第一手资料，梳理这些技术带来的结构性特征以及整个平台的优势。
AI 工厂与加速器设计面临的挑战
随着 AI 系统从单独的加速器扩展到机架级别的计算域，加速器封装必须在计算逻辑、供电、热设计（TDP）以及高带宽内存之间取得平衡。在训练、推理和智能体（Agent）AI 工作负载中，对模型权重、KV 缓存和激活数据的高吞吐量访问在很大程度上决定了性能表现。
然而，在定制加速器的开发过程中，最先进内存技术的选择、封装集成和验证往往会成为瓶颈。NVLink Fusion 和 NVHBM 旨在通过提供与主要内存厂商共同设计和验证的基础裸片，降低这些集成和验证的门槛，从而缩短半定制 AI 工厂的上市时间。
flowchart TD
A["カスタム XPU / CPU"] -->|NVLink Fusion & NVLink-C2C| B["NVIDIA AIインフラストラクチャプラットフォーム"]
C[NVHBM] -->|3D積層・カスタムPHY| A
B -->|スケールアップ・スケールアウト・MGXアーキテクチャ| D["データセンター / AIファクトリー"]
通过 NVLink Fusion 实现连接性与纵向扩展（Scale-up）
NVLink Fusion 是一项连接技术及 IP，可让超大规模企业和 AI 原生企业将自身的 XPU 或 CPU 连接到 NVIDIA 的 AI 基础设施平台。通过充分利用 NVIDIA 的纵向扩展（Scale-up）、横向扩展（Scale-out）技术栈以及 MGX 机架级架构，它能够降低开发和部署的复杂性。
作为最新第六代产品的 NVLink 是面向 AI 工厂的纵向扩展网络矩阵，即使在使用专家并行（EP）和 WideEP 等先进路由技术时，也能在不同 GPU 的专家之间高速同步激活和隐藏状态。此外，在上游，XPU 和 CPU 可以通过 NVLink-C2C 进行连接。这使得定制 XPU 能够在单一架构上与 GPU 混合实现异构计算，从而能够灵活地重新调配数据中心容量。
NVHBM 带来的三大平台优势
在封装层面，NVHBM 对集成架构形成了补充。NVHBM 为 AI 加速器项目带来了三大核心平台优势：提升内存带宽、节省芯片面积以及降低功耗。
1. 提升内存带宽
AI 加速器的性能取决于能够以多大的一致性向计算引擎提供数据。与标准的 HBM4e 相比，NVHBM 每个堆栈可实现高达 30% 的内存带宽提升。在受内存带宽限制或部分受内存带宽限制的 AI 工作负载中，这种带宽的扩大直接转化为加速器利用率和吞吐量的提高。特别是在运行大规模模型推理时，由于 HBM 与计算核心之间的数据传输速度加快，有望提高每个用户的 Token 吞吐量。同时，它还能防止局部的计算引擎陷入数据饥饿状态。
2. 芯片面积的效率与灵活性
在定制 AI 硅片中，封装上的面积分配至关重要。标准的 HBM 依赖于更宽的接口连接，这会挤占整个封装的占位面积。相比之下，NVHBM 采用了定制基础裸片，通过将内存控制器移动到 3D HBM 堆栈内部并集成定制 PHY 来提高效率。
与 JEDEC HBM4e 标准相比，该设计使 PHY 及支持区域减少了高达 67%。由于接口变窄，中介层（Interposer）的布线也得到了简化，从而在整个布局中提供了高达 80% 的可用硅片面积。由于内存接口所需面积的缩小，中央 AI 计算裸片得以扩容，为主芯片带来了高达 30% 的主裸片硅片面积增加，从而能够满足计算功能或其他功能的需求。设计人员能够根据推理服务、推荐系统、多模态管道以及内部训练工作负载等灵活优化 XPU 的功能。
3. 能效与扩展
电力是现代 AI 基础设施中最严苛的限制因素之一。HBM 的功耗会影响加速器的整体功率预算、封装热设计、机架功率包络以及数据中心冷却规划。与标准的 HBM4e 相比，NVHBM 将 HBM 功耗降低了高达 15%，从而为计算腾出了电力和热学余量（Headroom）。
这种功耗的降低不仅有助于提升单个 XPU 级别的每瓦性能，还在机架级和整个数据中心规模上发挥了巨大作用。根据第一手资料显示，在拥有 2,000W XPU 的 1 吉瓦数据中心中，通过在数千个加速器中节省电力，可以腾出足够的计算余量来运行多达 15,000 个额外的 XPU。这对于以低延迟、高吞吐量反复读取模型权重和 KV 缓存的大规模模型推理而言尤为重要。
对整体性能的影响
据第一手资料显示，通过结合使用 NVLink Fusion 和 NVHBM，得益于带宽提升、芯片面积效率优化以及机架规模下的 HBM 功耗降低等协同效应，每个 XPU 的端到端性能整体提升了高达 30%。芯片级效率与机架级连接性的整合，为定制 AI 加速器的设计到投产铺平了更为直接的道路。
使用注意事项与未来展望
本文中解说的内容基于 NVIDIA Technical Blog 上发布的官方信息。在进行实际的硬件设计和部署时，需要根据与各内存厂商的合作情况以及目标 AI 工作负载的特性进行验证。【Windows环境で確認予定】由于直接通过 API 或 GUI 进行验证的代码受实机环境限制以及公开 SDK 规范的影响，本文在此省略。有关下一代定制 AI 硅片和基础设施构建的详细动态，请参考官方技术资料。
コメント