NVIDIA Blog· Amr Elmeleegy·· 14 小时前AI 评分55
NVIDIA 全栈协同设计应对 AI 推理内存挑战
More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge
AI 导读
NVIDIA 通过协同设计 GPU、CPU、网络、存储与软件,缓解 HBM 容量和带宽对 AI 推理的约束。文中称,Vera Rubin NVL72 在 SemiAnalysis AgentX DeepSeek V4 Pro 工作负载上的每美元吞吐最高比 GB300 NVL72 高 30x,而每 GPU 的 HBM 容量仅提高约 3%。
来源:NVIDIA Blog · blogs.nvidia.com