跳到正文
原文
NVIDIA Blog· Amr Elmeleegy·· 14 小时前AI 评分55

NVIDIA 全栈协同设计应对 AI 推理内存挑战

More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge

AI 导读

NVIDIA 通过协同设计 GPU、CPU、网络、存储与软件,缓解 HBM 容量和带宽对 AI 推理的约束。文中称,Vera Rubin NVL72 在 SemiAnalysis AgentX DeepSeek V4 Pro 工作负载上的每美元吞吐最高比 GB300 NVL72 高 30x,而每 GPU 的 HBM 容量仅提高约 3%。

来源:NVIDIA Blog · blogs.nvidia.com